flume
文章平均质量分 79
简牧
架构,大数据,机器学习,互联网金融,写有用的博客!
展开
-
flume ng进击之路 (一)—— 入门
概述Apache flume是一个用于从很多不同的数据源高效收集、聚合并传输大量日志数据到一个集中的数据存储的分布式、可靠且可用的系统。 flume不仅仅用于日志数据的聚合,由于数据源是可定制的,flume可用于传输大量event(事件)数据原创 2016-08-22 11:01:29 · 827 阅读 · 0 评论 -
flume ng进击之路 (二)—— kafka sink使用
概述随着kafka的越来越流行,把kafka作为消息(特别是日志)的传输消息队列的越来越多,同时其他各种开源工具都开始跟kafka对接。 flume是常用语日志采集的工具,而kafka又常用于日志传输,因此对flume支持kafka的需求也很多原创 2016-08-22 13:15:51 · 810 阅读 · 0 评论 -
flume ng进击之路 (三) —— 自定义source API开发
概述关于flume ng的简单介绍,可以参考flume ng进击之路 (一)—— 入门,同时flume ng也提供了各种各样的source和sink接口供我们在生成环境中使用,但是在生产环境中,我们常常需要定制的source或者sink来满足我们的要求。好在flume ng提供了开放接口,我们可以根据这些接口,实现自己定制的source或者sink。下面我们来看一下如何实现自定义source框架。实原创 2017-05-04 12:18:50 · 7190 阅读 · 1 评论