大数据
文章平均质量分 55
左边的天堂
这个作者很懒,什么都没留下…
展开
-
Kafka学习之producer配置(0.8.1版)
最近在弄flume相关的东西。找到了这篇文章,贴出来,方便以后需要!文章地址:http://damacheng009.iteye.com/blog/2087996?utm_source=tuicoolmetadata.broker.list 默认值:无,必填格式为host1:port1,host2:port2,这是一个broker列表,用于获得元数据(topic转载 2015-05-14 17:47:16 · 654 阅读 · 0 评论 -
RabbitMQ设置SSL相关操作
相关文件openssl.cnf 文件配置[ ca ] default_ca = testca [ testca ] ...原创 2018-11-12 18:13:06 · 9289 阅读 · 9 评论 -
查询mongodb时报Cannot use 'commands' readMode, degrading to 'legacy' mode
一. 场景通过rebomongo 工具或者直接xshell工具连接mongodb报Cannot use 'commands' readMode, degrading to 'legacy' mode二. 解析mongodb新建的数据库和表里面没有数据只是占位高版本的shell链接低版本mongo 会出现 Cannot use 'commands' readMode, degrading t...转载 2018-10-25 16:36:32 · 977 阅读 · 0 评论 -
Elasticsearch Java API 之Query、Filter、count、Aggregations
Elasticsearch Java API 之Query、Filter、count、Aggregations转载 2017-12-29 14:31:50 · 2448 阅读 · 0 评论 -
小白科普:分布式和集群
分布式和集群大白话转载 2017-09-12 13:57:47 · 218 阅读 · 0 评论 -
mongoDB数据的导出导入
在工作中,我一般使用Robomongo-1.0去连接mongodb的,据我所知,但是这些工具一般都没有导入导出的功能。所以想要导点数据比较麻烦,后来查了一下mongodb自带了两个工具用来完成这些功能。1、mongoexport用来导出mongoexport可以把collection导出成json或csv文件,默认是导出json格式。 语法:mongoexport -d db -c collect原创 2017-05-08 09:24:52 · 4667 阅读 · 1 评论 -
Mongo的备份和恢复(mongodump 和mongorestore )
mongodump导出的是bson格式,是二进制形式,不过可以使用mongo自带的bsondump命令查看里面的数据,而mongoexport导出的则是文本,可以是csv、json格式。 JSON可读性强但体积较大,BSON则是二进制文件,体积小但对人类几乎没有可读性。 在一些mongodb版本之间,BSON格式可能会随版本不同而有所不同,所以不同版本之间用mongodump/mongorestore可能不会成功,具体要看版本之间的兼容性。当无法使用BSON进行跨版本的数据迁移的时候,使用J转载 2017-07-04 10:00:06 · 4808 阅读 · 1 评论 -
Flume相关技术汇总
这些知识基本来源网络,我自己收集了一下做个汇总。1、简介Flume支持在日志系统中定制各类数据发送方,用于收集数据。Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目。当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。Flume提供对数据进行简单处理,并写到各种数据接受方(可定原创 2015-04-22 11:02:13 · 2767 阅读 · 0 评论 -
整合Kafka到Spark Streaming
作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版本转载 2016-04-28 10:35:16 · 650 阅读 · 0 评论 -
Linux环境安装RabbitMQ
一、安装好系统运行更新:[root@node-2 ~]# yum update -y[root@node-2 ~]# reboot //一般情况不用重启,个人习惯。二、安装依赖文件:[root@node-2 ~]# yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget三、安装e...原创 2018-11-21 16:51:04 · 388 阅读 · 0 评论