Flume基本架构:
Flume三大组件:
Event与Agent
Event:将收集到的每一条日志封装成一个Event对象 - 在Flume中流动的是Event。Event的格式采用了json格式来定义的,这个json串中包含了2个部分:Header和Body。
Header用来存放该event的一些属性,为K-V结构,Body用来存放该条数据,形式为字节数组。
Agent: Flume中的组件是以Agent形式来出现的。Agent包含三个部分:Source、Channel和Sink
1. Source
Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、 exec、spooling directory、netcat、http、sequence generator、syslog、legacy、jms、thrift。
常用Source类型:
avro(Avro 端口类型,可实现多级流动)、exec(命令类型)、spooling directory(文件类型)、netcat(指定端口类型)、http(HTTP请求类型)
2. Sink
Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。
Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
常用Sink类型:
Logger Sink(日志类型)、File_roll Sink(文件类型)、HDFS Sink(hdfs类型)、Avro Sink(将源数据序列化后写到节点上,可实现多级流动)
3. Channel
Channel是位于Source和Sink之间的缓冲区。因此,Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的(多个线程访问同一个程序时,程序仍然能按照预期的行为去执行,可以通过加锁的方式来实现),可以同时处理几个Source的写入操作和几个Sink的读取操作。
Flume自带两种Channel:Memory Channel和File Channel以及Kafka Channel。
Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失,那么Memory Channel就不应该使用,因为程序死亡、机器宕机或者重启都会导致数据丢失。
File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。