Flume是一个分布式的高可用的消费组件。通过修改配置文件,可以启动不同的agent处理不同来源的数据。
agent包含source,channel,sink三个组件。今天我们学习下source的type。
1. spooldir
#描述/配置Source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata
向指定目录中传输文件,发现flume收集到了该文件,将文件中的每一行都作为日志来处理
2.NetCat Source
一个NetCat Source用来监听一个指定端口,并将接收到的数据的每一行转换为一个事件。
!type– 类型名称,需要被设置为"netcat"
!bind– 指定要绑定到的ip或主机名。
!port– 指定要绑定到的端口号
max-line-length 512单行最大字节数
3.Avro Source
监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。
!type – 类型名称,"AVRO"
!bind – 需要监听的主机名或IP
!port – 要监听的端口
threads – 工作线