Flume介绍:
Flume是Appache提供的高可用,可靠的分布式的海量日志采集,传输系统
功能:可以上传到HDFS中来,或者其他的
两个版本:
og:属于Flume0.9版本之前
ng:属于Flume1.0版本之前
og与ng的区别:
og是单线程 主从结构,原本由zookeeper管理
ng是双线程 已经取消master管理机制和zookeeper管理机制,变成了纯粹的传输工具
Flume 主要是由agent组成的,
一个agent包含组件有:source(接收采集传递过来的数据),channel(),sink
图示:单agent结构
多agent链式结构:
<