flume
u011180846
这个作者很懒,什么都没留下…
展开
-
基于flume-ng抓取mysql数据到kafka
flume是一个日志收集器,更多详细的介绍可以参照官网:http://flume.apache.org/ 在apache flume的官网上没有找到sql数据源数据抓取的source, 可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现,已可以适配所有的关系型数据...2016-08-14 19:17:15 · 679 阅读 · 0 评论 -
flume使用hdfs sink时需要注意的几点
最近接触了flume,这个日志收集器在扩展性方面确实很便捷,相信这与其架构的设计有密切的关系。书归正传,这次用到了hdfs sink在使用时还是有几点需要注意的,在此和大家分享一下。 第一部分windows下搭建单机的hdfs 如果你和我一样没有linux的测试环境,想在windows搭建hdfs,可以参考下面的链接,笔者就是参照这篇文章进行部署的 http://blog.csdn....2016-08-20 21:14:43 · 815 阅读 · 0 评论 -
Flume-ng 1.6启动过程源码分析(一)
启动部分主要分为四块 命令行参数的载入,这部分用的common cli实现 对于可选的zk配置的加载 对于flume-ng配置的加载,这里利用EventBus实现配置文件动态加载 组件的启动 简单介绍下EventBus,它是Guava提供的消息发布-订阅类库,机制与观察者模式类似。 下面主要介绍上面提到的第3和4部分。 首先flu...2016-08-22 19:36:42 · 129 阅读 · 0 评论 -
Flume-ng 1.6启动过程源码分析(二)
阅读Flume源码后发现,Flume有两个顶级的接口: 1. ConfigurationProvider接口,提供了getConfiguration()方法,用于获取不同组件的配置。 2. LifecycleAware接口,提供了三个方法,start() stop()和getLifecycleState(),分别用于组件的启动 停止以及组件在生命周期中处的状态,可以说这个接口贯穿于整个Fl...2016-09-04 11:25:50 · 196 阅读 · 0 评论