大数据
文章平均质量分 55
左边的天堂
这个作者很懒,什么都没留下…
展开
-
Kafka学习之producer配置(0.8.1版)
最近在弄flume相关的东西。找到了这篇文章,贴出来,方便以后需要! 文章地址:http://damacheng009.iteye.com/blog/2087996?utm_source=tuicool metadata.broker.list 默认值:无,必填 格式为host1:port1,host2:port2,这是一个broker列表,用于获得元数据(topic转载 2015-05-14 17:47:16 · 638 阅读 · 0 评论 -
RabbitMQ设置SSL相关操作
相关文件 openssl.cnf 文件配置 [ ca ] default_ca = testca [ testca ] ...原创 2018-11-12 18:13:06 · 9188 阅读 · 9 评论 -
查询mongodb时报Cannot use 'commands' readMode, degrading to 'legacy' mode
一. 场景 通过rebomongo 工具或者直接xshell工具连接mongodb报Cannot use 'commands' readMode, degrading to 'legacy' mode 二. 解析 mongodb新建的数据库和表里面没有数据只是占位 高版本的shell链接低版本mongo 会出现 Cannot use 'commands' readMode, degrading t...转载 2018-10-25 16:36:32 · 960 阅读 · 0 评论 -
Elasticsearch Java API 之Query、Filter、count、Aggregations
Elasticsearch Java API 之Query、Filter、count、Aggregations转载 2017-12-29 14:31:50 · 2415 阅读 · 0 评论 -
小白科普:分布式和集群
分布式和集群大白话转载 2017-09-12 13:57:47 · 206 阅读 · 0 评论 -
mongoDB数据的导出导入
在工作中,我一般使用Robomongo-1.0去连接mongodb的,据我所知,但是这些工具一般都没有导入导出的功能。所以想要导点数据比较麻烦,后来查了一下mongodb自带了两个工具用来完成这些功能。1、mongoexport用来导出mongoexport可以把collection导出成json或csv文件,默认是导出json格式。 语法:mongoexport -d db -c collect原创 2017-05-08 09:24:52 · 4631 阅读 · 1 评论 -
Mongo的备份和恢复(mongodump 和mongorestore )
mongodump导出的是bson格式,是二进制形式,不过可以使用mongo自带的bsondump命令查看里面的数据,而mongoexport导出的则是文本,可以是csv、json格式。 JSON可读性强但体积较大,BSON则是二进制文件,体积小但对人类几乎没有可读性。 在一些mongodb版本之间,BSON格式可能会随版本不同而有所不同,所以不同版本之间用mongodump/mongorestore可能不会成功,具体要看版本之间的兼容性。当无法使用BSON进行跨版本的数据迁移的时候,使用J转载 2017-07-04 10:00:06 · 4761 阅读 · 1 评论 -
Flume相关技术汇总
这些知识基本来源网络,我自己收集了一下做个汇总。 1、简介 Flume支持在日志系统中定制各类数据发送方,用于收集数据。Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。 Flume提供对数据进行简单处理,并写到各种数据接受方(可定原创 2015-04-22 11:02:13 · 2746 阅读 · 0 评论 -
整合Kafka到Spark Streaming
作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版本转载 2016-04-28 10:35:16 · 625 阅读 · 0 评论 -
Linux环境安装RabbitMQ
一、安装好系统运行更新: [root@node-2 ~]# yum update -y [root@node-2 ~]# reboot //一般情况不用重启,个人习惯。 二、安装依赖文件: [root@node-2 ~]# yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget 三、安装e...原创 2018-11-21 16:51:04 · 375 阅读 · 0 评论