![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume1.6
11号车厢
生活就是熬
展开
-
Flume介绍、安装部署、如何使用
文章目录1、Flume介绍1.1 下载的版本1.2 Flume特性1.3 Flume Agent框架2、安装3、 单节点Source:NetCat,Sink:Logger3.1 配置3.2 启动、测试 1、Flume介绍 1.1 下载的版本 本章我们介绍的是CDH版本的Flume,不是Apache版本的。 附上下载和User Guide地址: http://archive.cloudera.com...原创 2019-08-09 08:39:02 · 348 阅读 · 0 评论 -
Flume多Agent串联,单Source多Chanel/Sink使用、单Source到HDFS和Kafka
文章目录1、两个Agent串联2、单Source多Chanel/Sink 1、两个Agent串联 串联的Agent中间要采用Avro Sink和 Avro Source方式进行数据传输 案例: Agent的结构:source -> channel -> sink -> source -> channel -> sink Agent,Source选择:exec->...原创 2019-08-09 10:21:22 · 451 阅读 · 0 评论 -
Flume之Taildir Source二次开发实现迭代读取目录下文件
文章目录1、下载源码包2、导入IDEA3、修改源码4、上传到服务器,编译5、新建conf文件,测试TaildirSource 1、下载源码包 注意这是源码文件 flume-ng-1.6.0-cdh5.7.0-src.tar.gz 解压到Windows目录下 2、导入IDEA 就这里注意下倒入哪个目录,后面都是next就行了。 3、修改源码 找到 getMatchFiles 方法 注释完后在...原创 2019-08-22 23:02:32 · 749 阅读 · 0 评论