AvroSource
Avro Source是flume主要的RPC Source,能接收其他节点的Avro Sink或者用Flume SDK发来的数据,
常与Avro Sink结合作为缓冲使用。
关于Avro,这篇文章有作介绍,链接:Avro使用详解
AvroSource配置参数
配置参数 | 默认值 | 描述 |
---|---|---|
type | - | source类型 |
bind | - | ip地址,0.0.0.0绑定所有机器 |
port | - | 本机接收端口 |
threads | - | 接收传入数据的最大线程数量 |
ssl | false | 是否使用SSL |
keystore | - | SSL使用的keystore路径 |
keystore-password | - | keystore密码 |
keystore-type | JKS0 | keystore类型 |
compression-type | - | 压缩数据的格式,只支持zlib,使用deflate设置 |
bind若使用127.0.0.1则只接收本机的请求数据,0.0.0.0可以接收来之所有机器的数据。
threads最大线程数量受JVM,操作系统,硬件限制。
ssl如果设为true,则发送到source的所有机器都需配置使用ssl。
compression-type如果配置使用,则传入的数据源需要被压缩,否则source无法解析,因此如果传入数据缺失无法压缩,
例如传入了http请求又需要压缩发送到avroSource,则可在avro同台机器配置多个agent,用httpsource,avroSink使用压缩。
如果是压缩与不压缩的数据都需要接接收,就需要avrosource配置两个,一个压缩一个不压缩。
AvroSink配置参数
配置参数 | 默认值 | 描述 |
---|---|---|
type | - | source类型 |
hostname | - | 发送的ip地址 |
port | - | 发送端口 |
batch-size | 100 | 每次发送的事件数量,也是从channel读取的时间数量 |
ssl | false | 是 |