Flume的工作原理
Flume的工作原理
概述
1.flume是Cloudera公司开发,后来贡献给了apache,是一套分布式的,可靠的用于 日志的收集、汇聚和传输的系统。
2.flume的版本:
flume0.x:flume-og
flume1.x:flume-ng。 og与ng之间不兼容。
3.Flume是Hadoop生态圈的一员。
基本概念
- Event :
- a.将收集的每一条日志封装成了一份Event对象,一个Event就是一条日志。
- b.Event本质上就是一个json串
- c.由headers和body组成`
-
Agent :一个节点就是一个Agent
- a. Source:负责从数据源采集数据 包括avro、exec、spooling、netcat、sequence、http等 - b. Channel:临时存储数据,是一个缓冲区 简单缓存数据,可以存放在memory,file,jdbc等 - c. Sink:将数据发往目的地目的地包括hdfs、logger、avro、file、hbase、自定义等
Flume的运行机制
单级流动
Agent中由Source接收数据,将数据暂存到Channel缓冲区,再将数据传递给 Sink;最终将数据保存到hdfs/avro/file等
多级流动(多个Agent的数据流动)
1、Agent中由Source接收数据,将数据暂存到Channel缓冲区,再将数据传递给 Sink;
2、Sink将数据传输到下一个Agent节点,重复 1 过程;
3、最终将数据保存到hdfs/avro/file等
扇入流动(多个Agent接收数据,发送到一个Agent)
每个source分别从各自的数据源获取日志数据,将数据发送给各自绑定的channel中进行缓存,
再分别发送到各自绑定的sink中;
每个sink绑定相同的Source;再次重复数据传递;最终到达目的地
扇出流动(一个Agent接收数据,将其数据发送到多个Agent)
扇出与扇入过程相反,最终由各自的sink发送到各自对应的目的地中;
总结:Flume在大数据的体系中是数据输出层,数据的来源主要是文件日志,半结构化数据。
数据的传输的目的地往往是HDFS等进行资源存储。