一、source
1.Avro Source
- 监听Avro 端口来接收外部avro客户端的事件流
- avro-source接收到的是经过avro序列化后的数据,然后反序列化数据继续传输。
- 源数据必须是经过avro序列化后的数据
- 利用Avro source可以实现多级流动、扇出流、扇入流等效果
- 可以接收通过flume提供的avro客户端发送的日志信息
-
配置说明
配置项
说明
channels
绑定通道
type
avro
bind
需要监听的主机名或IP
port
要监听的端口
threads
工作线程最大线程数
selector.*
选择器配置
interceptors.*
拦截器配置
2.Spooling Directory Source
- 监听一个指定的目录,只要牡蛎下的文件发生变化,会自动收集文件中的内容
- flume会持续监听指定的目录,把放入这个目录中的文件当做source来处理
- 注意:一旦文件被放到“自动收集”目录中后,便不能修改,如果修改,flume会报错
- 此外,也不能有重名的文件,如果有,flume也会报错
- 配置说明