![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
浮生物语QAQ
这个作者很懒,什么都没留下…
展开
-
flume介绍与测试
背景flume最开始由cloudera软件公司产出的可分布式日志收集系统,后于2009年被捐赠了apache软件基金会,为hadoop相关组件之一。不断的完善与版本升级,推出了flume-ng,现在早已是Apache顶级项目之一。flume简介Flume is a distributed, reliable, and available service for efficiently原创 2018-02-02 14:28:43 · 342 阅读 · 0 评论 -
flume+kafka+storm整合(一)
这几天弄了一下消息采集方面的工作,跑了一下flume+kafka+storm的流程,遇到一些问题,不过最终还是搞定了。其实网上有很多相关的文章,这里整理出来,只是作一下笔记,方便以后查看,如果能帮到和我踩到类似坑的小伙伴的话,那就更好了,废话补多说,开工。这里就不具体介绍flume,kafka,storm的相关概念了,有需求的可以直接去官网上查看,是在不行,也可以去看看源码。把官网链接甩出来:...原创 2018-03-07 17:32:44 · 4293 阅读 · 0 评论 -
flume+kafka+storm整合(二)--- flume 头文件header处理
上一篇文章阐述了通用的flume+kafka+storm模式,若是有如下需要:在传输数据的同时,携带header头文件信息,比如在传输文件的同时,在flume Event的header中携带文件的元数据,该怎么处理呢。上一篇文章连接:http://blog.csdn.net/chenguangchun1993/article/details/79474350核心有两点: 第一点: 在...原创 2018-03-07 18:10:20 · 2615 阅读 · 1 评论