Flume之source分类

Flume 不仅仅局限于日志文件的聚集.

因为数据源可以自定义, Flume 可以用来传输大量的事件数据(event data), 比如: 网络流量数据(network traffic data), 社交媒体产生的数据(social-media-generated data), 电子邮件信息(email messages)和其他任何可能的数据源.

1.avro source

监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。

2.ThriftSource

ThriftSource 与Avro Source 基本一致。只要把source的类型改成thrift即可，例如a1.sources.r1.type = thrift，比较简单，不做赘述。

3.ExecSource

ExecSource的配置就是设定一个Unix(linux)命令，然后通过这个命令不断输出数据。如果进程退出，Exec Source也一起退出，不会产生进一步的数据。（通常用于监控单个文件）

4.JMS source

从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过

5.Spooling Directory Source

Spooling Directory Source监测配置的目录下新增的文件，并将文件中的数据读取出来。其中，Spool Source有2个注意地方，第一个是拷贝到spool目录下的文件不可以再打开编辑，第二个是spool目录下不可包含相应的子目录。这个主要用途作为对日志的准实时监控。