flume配置详解

1.source（AVRO）

（1）type: source 的类型。可以是 FQCN 或 source 的别名 （仅为 flume 自带的 source）。

（2）bind：绑定的 IP 地址 或 主机名，使用 0.0.0.0 绑定机器所有的接口

（3）port：绑定的端口

（4）threads：infinity 接收从客户端或 Avro Sink 传入的数据的最大工作线程的数量。

（5）ssl ：false  SSL应用启用吗？如果true 所有连接到 source 的客户端都需要使用 SSL 。如果启用了 SSL  keystore 和  keystore-password 参数是必须的。

（6）keystore：

（7）keystore-password

（8）keystore-type JKS0

（9）compression-type 用于解压缩传入数据的压缩格式。唯一支持压缩格式是 zlib，如果要接收zlib 压缩数据。设置为 deflate。

2.channel 

（1） type：file channel 的别名是 file。FQCN 是 org.apache.flume.channel.file.FileChannel（大小写敏感）

（2）capacity：1000000   channel 可以保存的提交事件的最大数量。

（3）transactionCapacity：1000  单个事务中可以写入或读取的事务的最大数量。

（4）checkpointDir：channel 写出到检查点的目录。

（5）dataDirs：写入事件到以逗号分隔的列表的目录。配置多个目录。每个挂载不同的磁盘，通过并行写入磁盘可以显著提高性能。

（6）useDualCheckpoinits：false 告诉channel 一旦它被完全写出是否支持检查点。参数值 true/false 如果true。backupCheckpointDir 参数则必须设置。

（7）backupCheckpointDir ：支持检查点的目录。如果主检查点损坏或不完整，channel 可以从备份中恢复从而避免数据文件的完整回放。

（8）checkpointInterval：30  连续检查点之间的时间间隔。 秒为单位

（9）maxFileSize 1623195647 每个数据文件的最大大小。字节为单位。一旦超过这个大小。该文件保存关闭并在那个目录下创建一个新的数据文件。

（10）minimumRequiredSpace：channel 继续操作时每个卷所需的多少的空间。最大值 524288000 最小值 1048576

（11）keep-alive  3   每次写入或读取应该等待完成的最大的时间的间隔。以秒为单位。

3.sink  （kafka）

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.brokerList = storm1:9092,storm2:9092,storm3:9092
a1.sinks.k1.topic = kafkatest
a1.sinks.k1.serializer.class = kafka.serializer.StringEncoder
a1.sinks.k1.producer.type = async