![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据采集工具
笨鸟的平凡之路
这个作者很懒,什么都没留下…
展开
-
笨鸟的平凡之路-FLUME
Flume的简介 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 ◆ Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 ◆ 一般的采集需求,通过对flume的简单配置即可实现 ◆ Flume针对特殊场景也具备良好的自定义扩展能力, ...原创 2019-05-23 10:39:15 · 192 阅读 · 0 评论 -
笨鸟的平凡之路-Logstash的搭建与简单测试
由于需要将Mysql的数据导入到ES中,并且考虑MySql后续数据增量的情况,查阅博客推荐使用Logstash或GO-MySQL-ElasticSearch或Py-Mysql_ElasticSearch. 有人会说为什么不用flume或者MySqlsMom,在这里说一下我的看法,Flume集成ES并不是很友好,一般的我们是利用Flume实时采集日志发布到Kafka做配套,并且我们知道ELK中的E...原创 2019-06-04 16:59:40 · 283 阅读 · 0 评论