整合一下Flume常见的Source、Channel、Sink的配置
--------------------------常见的Source的配置--------------------
Avro Source配置：
| 参数 | 默认值 | 描述 |
|---|---|---|
| channels | - | 与之相连的Channel，可以配置多个。用空格隔开。在单个代理流程中，是通过channel连接sources和sinks。一个source实例对应多个channels，但一个sink实例只能对应一个channel。 |
| type | avro | 类型，需设置为“avro”。每一种source的类型都为相应的固定值。 |
| bind | - | 绑定和source关联的主机名或IP地址。 |
| port | - | 绑定端口号。 |
| ssl | false | 是否使用SSL加密。true or false |
| truststore-type | JKS | Java信任库类型。填写JKS或其他java支持的truststore类型。 |
| truststore | - | Java信任库类型。填写JKS或其他java支持的truststore类型。 |
| truststore-password | - | Java信任库密码。 |
| keystore-type | JKS | 密钥存储类型。填写JKS或其他java支持的truststore类型。 |
| keystore | - | 密钥存储文件。 |
| keystore-password | avro | 密钥存储密码。 |
Spooling Source 配置：
| 参数 | 默认值 | 描述 |
|---|---|---|
| channels | - | 与之相连的Channel，可以配置多个。 |
| type | spooldir | 类型，需设置为“spooldir”。 |
| monTime | 0（不开启） | 线程监控阈值，更新时间大于阈值时会重新启动该Source，单位：秒。 |
| spoolDir | - | 监控目录 |
| fileSuffix | .COMPLETED | 文件传输完成后添加的后缀。 |
| deletePolicy | never | 文件传输完成后源文件删除策略，支持“never”或“immediate”。分别别是从不删除和立即删除 |
| ignorePattern | ^$ | 忽略文件的正则表达式表示。 |
| trackerDir | .flumespool | 传输过程中元数据存储路径。 |
| batchSize | 1000 | Source传输粒度。 |
| decodeErrorPolicy | FAIL | 编码错误策略。可选FAIL、REPLACE、IGNORE。 FAIL：抛出异常并让解析失败 REPLACE：将不能识别的字符用其它字符代替，通常是字符U+FFFD。 IGNORE：直接丢弃不能解析的字符串。 说明：如果文件中有编码错误，请配置“decodeErrorPolicy”为“REPLACE”或“IGNORE”Flume遇到编码错误将跳过编码错误，继续采集后续日志。 |
| deserializer | LINE | 文件解析器，值为“LINE”或 “BufferedLine”。 配置为“LINE”时，对从文件读取的字符逐个转码。 配置为“BufferedLine”时，对文件读取的一行或多行的字符进行批量转码，性能更优。 |
| deserializer.maxLineLength | 2048 | 按行解析最大长度。0到 2,147,483,647。 |
| deserializer.maxBatchLine | 1 | 按行解析最多行数，如果行数设置为多行，“maxLineLength”也应该设置为相应的倍数。例如maxBatchLine设置为2，“maxLineLength”相应的设置为2048*2为4096。 |
| selector.type | replicating | 选择器类型，支持“replicating”或“multiplexing”。 “replicating”表示同样的内容会发给每一个channel。 “multiplexing”表示根据分发规则，有选择地发给某些channel。 |
| interceptors | - | 拦截器配置。 |
说明：
Spooling Source在按行读取过程中，会忽略掉每一个Event的最后一个换行符，该换行符所占用的数据量指标不会被Flume统计。
Kafka Source 配置：
| 参数 | 默认值 | 描述 |
|---|---|---|
| channels | - | 与之相连的Channel，可以配置多个。 |
| type | org.apache.flume.source.kafka.KafkaSource | 需设置为“org.apache.flume.source.kafka.KafkaSource”。 |
| monTime | 0（不开启） | 线程监控阈值，更新时间大于阈值时重新启动该Source，单位：秒 |
| batchSize | 1000 | 每次写入Channel的Event数量 |
| batchDurationMillis | 1000 | 每次消费topic数据的最大时长，单位：毫秒 |
| keepTopicInHeader | false | 是否在Event Header中保存topic，如果保存，Kafka Sink配置的topic将无效。 true false |
| keepPartitionInHeader | false | 是否在Event Header中保存partitionID，如果保存，Kafka Sink将写入对应的Partition。 true false |
| kafka.bootstrap.servers | - | brokers地址列表，多个地址用英文逗号分隔。 |
| kafka.consumer.group.id | - | Kafka消费者组ID。 |
| kafka.topics | - | 订阅的kafka topic列表，用英文逗号分隔 |
| kafka.topics.regex | - | 符合正则表达式的topic会被订阅，优先级高于“kafka.topics”，如果配置将覆盖“kafka.topics” |
| kafka.security.protocol | SASL_PLAINTEXT | Kafka安全协议，未启用Kerberos集群中须配置为“PLAINTEXT” |
| Other Kafka Consumer Properties | - | 其他Kafka配置，可以接受任意Kafka支持的消费参数配置，配置需要加前缀“.kafka” |
Taildir Source 配置：
| 参数 | 默认值 | 描述 |
|---|---|---|
| channels | - | 与之相连的Channel，可以配置多个 |
| type | taildir | 类型，需配置为“taildir” |
| filegroups | - | 设置采集文件目录分组名字，分组名字中间使用空格间隔 |
| filegroups..parentDir | - | 父目录，需要配置为绝对路径 |
| filegroups..filePattern | - | 相对父目录的文件路径，可以包含目录，支持正则表达式，须与父目录联合使用 |
| positionFile | - | 传输过程中元数据存储路径 |
| headers.. | - | 设置某一个分组采集数据时Event中的key-value值 |
| byteOffsetHeader | false | 是否在每一个Event头中携带该Event在源文件中的位置信息，该信息保存在“byteoffset”变量中 |
| skipToEnd | false | Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据 |
| idleTimeout | 120000 | 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，关闭掉该文件，关闭后如果该文件有数据写入，重新打开并读取数据 |
| writePosInterval | 3000 | 设置将元数据写入到文件的周期，单位：毫秒 |
| batchSize | 1000 | 批次写入Channel的Event数量 |
| monTime | 0（不开启） | 线程监控阈值，更新时间大于阈值时重新启动该Source，单位：秒 |
-------------------------------常用Channel配置---------------------------
Memory Channel 配置:
Memory Channel使用内存作为缓存区，Events存放在内存队列中
| 参数 | 默认值 | 描述 |
|---|---|---|
| type | - | 类型，需配置为“memory” |
| capacity | 10000 | 缓存在Channel中的最大Event数 |
| transactionCapacity | 1000 | 每次存取的最大Event数 |
| channelfullcount | 10 | Channel full次数，达到该次数后发送告警 |
File Channel 配置:
File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中
| 参数 | 默认值 | 描述 |
|---|---|---|
| type | - | 类型，需配置为“memory” |
| checkpointDir | - | 检查点存放路径 |
| dataDirs | - | 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 |
| maxFileSize | 2146435071 | 单个缓存文件的最大值，单位：字节 |
| minimumRequiredSpace | 524288000 | 缓冲区空闲空间最小值，单位：字节 |
| capacity | 1000000 | 缓存在Channel中的最大Event数 |
| transactionCapacity | 10000 | 每次存取的最大Event数 |
| channelfullcount | 10 | Channel full次数，达到该次数后发送告警 |
Kafka Channel 配置:
Kafka Channel使用kafka集群缓存数据，Kafka提供高可用、多副本，以防Flume或Kafka Broker崩溃，Channel中的数据会立即被Sink消费
| 参数 | 默认值 | 描述 |
|---|---|---|
| type | org.apache.flume.channel.kafka.KafkaChannel | 类型，需配置为“org.apache.flume.channel.kafka.KafkaChannel” |
| kafka.bootstrap.servers | - | kafka broker列表 |
| kafka.topic | flume-channel | Channel用来缓存数据的topic |
| kafka.consumer.group.id | flume | Kafka消费者组ID |
| parseAsFlumeEvent | true | 是否解析为Flume event |
| migrateZookeeperOffsets | true | 当Kafka没有存储offset时，是否从ZooKeeper中查找，并提交到Kafka |
| kafka.consumer.auto.offset.reset | latest | 当没有offset记录时，从指定的位置消费数据 |
| kafka.producer.security.protocol | SASL_PLAINTEXT | Kafka生产者安全协议 |
| kafka.consumer.security.protocol | SASL_PLAINTEXT | Kafka消费者安全协议。 |
-------------------------------常用Sink配置---------------------------
HDFS Sink 配置：
将数据写入HDFS
| 参数 | 默认值 | 描述 |
|---|---|---|
| channel | - | 与之相连的Channel |
| type | hdfs | 类型，需配置为“hdfs” |
| monTime | 0（不开启） | 线程监控阈值，更新时间大于阈值时重新启动该Sink，单位：秒 |
| hdfs.path | - | HDFS路径 |
| hdfs.inUseSuffix | .tmp | 正在写入的HDFS文件后缀 |
| hdfs.rollInterval | 30 | 按时间滚动文件，单位：秒 |
| hdfs.rollSize | 1024 | 按大小滚动文件，单位：字节 |
| hdfs.rollCount | 10 | 按Event个数滚动文件 |
| hdfs.idleTimeout | 0 | 自动关闭空闲文件超时时间，单位：秒 |
| hdfs.batchSize | 1000 | 每次写入HDFS的Event个数 |
| hdfs.kerberosPrincipal | - | 认证HDFS的Kerberos用户名，未启用Kerberos认证集群不配置 |
| hdfs.kerberosKeytab | - | 认证HDFS的Kerberos keytab路径，未启用Kerberos认证集群不配置 |
| hdfs.fileCloseByEndEvent | true | 收到最后一个Event时是否关闭文件 |
| hdfs.batchCallTimeout | - | 每次写入HDFS超时控制时间，单位：毫秒。 当不配置此参数时，对每个Event写入HDFS进行超时控制。 当“hdfs.batchSize”大于0时，配置此参数可以提升写入HDFS性能。 说明： “hdfs.batchCallTimeout”设置多长时间需要考虑“hdfs.batchSize”的大小， “hdfs.batchSize”越大，“hdfs.batchCallTimeout”也要调整更长时间，设置过短时间容易导致数据写入HDFS失败。 |
| serializer.appendNewline | true | 将一个Event写入HDFS后是否追加换行符（’\n’），如果追加该换行符，该换行符所占用的数据量指标不会被HDFS Sink统计 |
Kafka Sink 配置：
Kafka Sink将数据写入到Kafka中
| 参数 | 默认值 | 描述 |
|---|---|---|
| channel | - | 与之相连的Channel |
| type | org.apache.flume.sink.kafka.KafkaSink | 类型，需配置为“org.apache.flume.sink.kafka.KafkaSink” |
| kafka.bootstrap.servers | - | Kafkabrokers列表，多个用英文逗号分隔 |
| monTime | 0（不开启） | 线程监控阈值，更新时间大于阈值时重新启动该Sink，单位：秒 |
| kafka.topic | default-flume-topic | 数据写入的topic |
| flumeBatchSize | 10000 | 每次写入Kafka的Event个数 |
| kafka.security.protocol | SASL_PLAINTEXT | Kafka安全协议，未启用Kerberos认证集群下须配置为“PLAINTEXT” |
| kafka.kerberos.domain.name | - | Kafka Domain名称。安全集群必填 |
HBase Sink 配置：
HBase Sink将数据写入到HBase中
| 参数 | 默认值 | 描述 |
|---|---|---|
| channel | - | 与之相连的Channel |
| type | hbase | 类型，需配置为“hbase” |
| table | - | HBase表名称 |
| monTime | 0（不开启） | 线程监控阈值，更新时间大于阈值时重新启动该Sink，单位：秒 |
| columnFamily | - | HBase列族名称 |
| batchSize | 1000 | 每次写入HBase的Event个数 |
| kerberosPrincipal | - | 认证HBase的Kerberos用户名，未启用Kerberos认证集群不配 |
| kerberosKeytab | - | 认证HBase的Kerberos keytab路径，未启用Kerberos认证集群不配置 |
扫一扫
867
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
