大数据技术之Flume第2章 角色介绍

2.1 Source

source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy

2.2 Channel

source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等。 

2.3 Sink

sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定义。

2.4 Event

传输单元，Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。

 

 

本教程由尚硅谷教育大数据研究院出品，如需转载请注明来源。