Flume day01

典型大规模离线数据处理平台图

Flume (日志采集框架)

主要用于实时读取服务器本地磁盘的数据将数据写入HDFS

概念:

flume是一个分布式,可靠,高可用的海量日志采集,聚合和传输的系统,
fiume可以采集socket数据包,文件,文件夹,kafka等形式的源数据,还可以将采集到的数据下沉(sink)输出到hdfs,HBASE,hive,kafka等外部存储系统中.

运行机制:
Fiume分布式系统中最核心的角色是agent,Fiume采集系统就是由一个个agent所连接形成的.
agent:是一个JVM进程,以事件的形式将数据从源头送到目的地,是flume数据进程的基本单元.
每一个agent相当于一个数据传递员,有三个组件
①source:采集组件,用于跟数据源对接而获取数据(常见类型spooling,directory,syslog,exec,avor,natcat等)
②sink:下沉组件,用于往下一级agent传递数据或者往最终存储系统传递数据.(包括HDFS,kafka,logger,arro,file)
③channel:传输通道组件,用于从source将数据传递到sink:

put推送事件,(将Cource中的数据推送到channel)

put事物流程
doput:将批数据写入临时缓冲区putlist
docommit:检查channel内存队列是否足够合并
dorollbacb:channel内存队列空间不足,回滚数据

take拉取事件(将channel输出sink)

take书屋流程
dotake:先将数据拉取到临时缓冲区takelist
docommit:如果数据全部发送成功则清除临时缓冲区takelist
dorollback:数据发送过程中如果出现异常,rollback将临时缓冲区takelist中的数据归还给channel内存队列

flume采集系统结构图

单个agent采集数据图

多级agent之间串联

flume agent内部原理