Flume KafkaChannel的使用

Flume提供了Kafka Sink将数据写入Kafka，也提供了KafkaChannel使用Kafka作为Channel存储数据。

使用KafkaChannel既可以避免Memory Channel的内存溢出，又可以提供不错的性能。

另外当我们需要将数据写入Kafka时，可以不需要Sink，直接使用KafkaChannel就可以将数据写入Kafka，省去了Sink的开销。

以下简单介绍下KafkaChannel的使用。Flume的版本是1.9.0。

需要注意的几点

1. 通常，与channel相关的配置值应用于channel配置级别，例如：a1.channel.k1.type =
2. 与Kafka相关的配置值以"kafka"前缀
3. 生产者/消费者特定的属性以kafka.producer或kafka.consumer为前缀
4. 尽可能使用Kafka参数名称。尽量使用Kafka自身的参数配置。

参数

加粗的代表是必需的。

参数	默认值	描述
type	–	组件名称。必须为org.apache.flume.channel.kafka.KafkaChannel
kafka.bootstrap.servers	–