Flume source 支持的type类型

Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。

agent包含source，channel，sink三个组件。今天我们学习下source的type。

 

1. spooldir

＃描述/配置Source
a1.sources.r1.type  = spooldir
a1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata

　　向指定目录中传输文件，发现flume收集到了该文件，将文件中的每一行都作为日志来处理

 

2.NetCat Source

　　 一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。

　　！type–   类型名称，需要被设置为"netcat"

　　！bind–   指定要绑定到的ip或主机名。

　　！port–   指定要绑定到的端口号

　　max-line-length   512单行最大字节数

 

3.Avro Source

　　监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。

　　!type  –   类型名称，"AVRO"

　　!bind  –   需要监听的主机名或IP

　　!port  –   要监听的端口

　　threads    –   工作线