![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
Empty-cup
这个作者很懒,什么都没留下…
展开
-
Flume的原理和基本使用
官网:http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1/ 概述 Flume是一个分布式日志的的采集框架,其核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink...原创 2019-09-26 19:18:43 · 702 阅读 · 0 评论 -
Flume源码编译、打包、修改Taildir Source支持递归
为什么要编译源码? 修改各组件版本,为了跟生产上其他组件版本匹配 bug修复 新特性的增加 二次开发 flume源码编译 编译方式:IDEA + MAVEN 编译版本:flume-ng-1.6.0-cdh5.15.1-src 编译注意事项: 带cdh标志的部分jar包国内不方便下载,可以借助阿里云的香港云主机下载后拷贝到本地。 在flume-ng-sinks下的pom.xml中找到fl...原创 2020-04-09 16:52:16 · 806 阅读 · 0 评论