flume AvroSource和AvroSink使用

AvroSource

Avro Source是flume主要的RPC Source，能接收其他节点的Avro Sink或者用Flume SDK发来的数据,
常与Avro Sink结合作为缓冲使用。
关于Avro，这篇文章有作介绍，链接:Avro使用详解

AvroSource配置参数

配置参数	默认值	描述
type	-	source类型
bind	-	ip地址，0.0.0.0绑定所有机器
port	-	本机接收端口
threads	-	接收传入数据的最大线程数量
ssl	false	是否使用SSL
keystore	-	SSL使用的keystore路径
keystore-password	-	keystore密码
keystore-type	JKS0	keystore类型
compression-type	-	压缩数据的格式，只支持zlib，使用deflate设置

bind若使用127.0.0.1则只接收本机的请求数据，0.0.0.0可以接收来之所有机器的数据。
threads最大线程数量受JVM,操作系统，硬件限制。
ssl如果设为true，则发送到source的所有机器都需配置使用ssl。
compression-type如果配置使用，则传入的数据源需要被压缩，否则source无法解析，因此如果传入数据缺失无法压缩，
例如传入了http请求又需要压缩发送到avroSource，则可在avro同台机器配置多个agent，用httpsource，avroSink使用压缩。
如果是压缩与不压缩的数据都需要接接收，就需要avrosource配置两个，一个压缩一个不压缩。

AvroSink配置参数

配置参数	默认值	描述
type	-	source类型
hostname	-	发送的ip地址
port	-	发送端口
batch-size	100	每次发送的事件数量，也是从channel读取的时间数量
ssl	false	是