Flume (九) Channels - Kafka Channel

最新推荐文章于 2024-06-29 08:30:00 发布
最新推荐文章于 2024-06-29 08:30:00 发布
阅读量9.1k 收藏 17
点赞数 3
分类专栏： flume

事件存储在Kafka群集中（必须单独安装）。 Kafka提供高可用性和复用(high availability and replication)，因此如果代理或kafka代理崩溃，事件可立即用于其他接收器.

Kafka channel 可用于多种场景：

  • 使用Flume source and sink - 它为事件提供了可靠且高度可用的通道
  • 使用Flume source and interceptor但没有sink - 它允许将Flume事件写入Kafka主题，供其他应用程序使用
  • 使用Flume sink，但没有source - 它是一种低延迟，容错的方式将事件从Kafka发送到Flume接收器，如HDFS，HBase或Solr

由于依赖于该版本附带的Kafka客户端，此版本的Flume需要Kafka 0.9或更高版本。 与之前的Flume版本相比，channel的配置发生了变化。

配置参数组织如下：

  • 通常与通道相关的配置值应用于通道配置级别，例如：a1.channel.k1.type =
  • 与Kafka或Channel运行方式相关的配置值以"kafka."为前缀（这对于CommonClient Configs是有效的），例如：a1.channels.k1.kafka.topic和a1.channels.k1.kafka.bootstrap.servers。 这与hdfs接收器的运行方式没有什么不同
  • 特定于producer/consumer的属性以kafka.producer或kafka.consumer为前缀
  • 在可能的情况下，使用Kafka参数名称，例如：bootstrap.servers和acks

此版本的flume与以前的版本向后兼容，但是下表中显示了已弃用的属性，并且在配置文件中存在时会在启动时记录警告消息。

Property NameDefaultDescription
type–组件类型名称，需要是org.apache.flume.channel.kafka.KafkaChannel
kafka.bootstrap.servers-channel使用的Kafka集群中的代理列表,可以是部分代理，但我们建议至少两个，因为HA。 格式为逗号分隔的hostname:port列表
kafka.topicflume-channelchannel将使用的Kafka主题
kafka.consumer.group.idflumechannel用于向Kafka注册的消费者群组ID。 多个channel必须使用相同的topic和group ，以确保当一个代理失败时，另一个可以获取数据。请注意，使具有相同ID的non-channel消费者可能导致数据丢失。
parseAsFlumeEventtrue期望在channel中使用FlumeEvent模式的Avro基准。 如果Flume源写入通道，则应该为true;如果其他producers正在写入channel正在使用的主题，则应为false。 通过使用flume-ng-sdk工件提供的org.apache.flume.source.avro.AvroFlumeEvent，可以在Flume之外解析到Kafka的Flume源消息
migrateZookeeperOffsetstrue如果找不到Kafka存储的偏移量，请在Zookeeper中查找偏移量并将它们提交给Kafka。 这应该是支持从旧版本的Flume无缝Kafka客户端迁移。 迁移后，可以将其设置为false，但通常不需要这样做。 如果未找到Zookeeper偏移量，则kafka.consumer.auto.offset.reset配置定义如何处理偏移量。
pollTimeout500在消费者调用的“poll()”中等待的时间（以毫秒为单位）。https://kafka.apache.org/090/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html#poll(long）
defaultPartitionId–指定要发送到此通道中的所有事件的Kafka分区ID（整数），除非被partitionIdHeader覆盖。 默认情况下，如果未设置此属性，则事件将由Kafka Producer的分区程序分发 - 包括key（如果指定）（或由kafka.partitioner.class指定的分区程序）。
partitionIdHeader–设置时，生产者将从事件头中获取使用此属性的值命名的字段的值，并将消息发送到主题的指定分区。 如果该值表示无效分区，则该事件将不被接受。 如果存在标头值，则此设置将覆盖defaultPartitionId。
kafka.consumer.auto.offset.resetlatest当Kafka中没有初始偏移量或服务器上当前偏移量不再存在时（例如因为该数据已被删除）该怎么办：最早：自动将偏移量重置为最早的最新偏移量：自动重置偏移量 到最新的偏移量none：如果没有为消费者组找到任何其他偏移量，则向消费者抛出异常：向消费者抛出异常。
kafka.producer.security.protocolPLAINTEXT如果使用某种级别的安全性写入Kafka，则设置为SASL_PLAINTEXT，SASL_SSL或SSL。 有关安全设置的其他信息，请参见下文。
kafka.consumer.security.protocolPLAINTEXT与kafka.producer.security.protocol相同，但是用于从Kafkareading/consuming。
more producer/consumer security props如果使用SASL_PLAINTEXT，则SASL_SSL或SSL会引用Kafka安全性以获取需要在producer/consumer上设置的其他属性。

不推荐使用的属性

Property NameDefaultDescription
brokerList–channel使用的Kafka集群中的brokers列表,可以是部分brokers，但我们建议至少两个，因为HA。 格式为逗号分隔的hostname:port列表
topicflume-channel使用kafka.topic
groupIdflume使用kafka.consumer.group.id
readSmallestOffsetfalse使用kafka.consumer.auto.offset.reset

注意：由于通道负载平衡的方式，代理首次启动时可能会出现重复事件

Example for agent named a1:

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka-3:9092
a1.channels.channel1.kafka.topic = channel1
a1.channels.channel1.kafka.consumer.group.id = flume-consumer

Security and Kafka Channel:
Flume和Kafka之间的通信渠道支持安全认证和数据加密。 对于安全身份验证，可以使用Kafka 0.9.0版中的SASL / GSSAPI（Kerberos V5）或SSL（即使该参数名为SSL，实际协议是TLS实现）。

截至目前，数据加密仅由SSL / TLS提供。

将kafka.producer| consumer.security.protocol设置为以下任何值意味着：

  • SASL_PLAINTEXT - 无数据加密的Kerberos或纯文本身份验证
  • SASL_SSL - 使用数据加密的Kerberos或纯文本身份验证
  • SSL - 基于TLS的加密，带有可选的身份验证。

警告：启用SSL时性能会下降，其大小取决于CPU类型和JVM实现。 参考：Kafka安全概述和跟踪此问题的jira：KAFKA-2561

TLS and Kafka Channel:
请阅读配置Kafka客户端SSL中描述的步骤，以了解用于微调的其他配置设置，例如以下任何一项：安全提供程序，密码套件，启用的协议，信任库或密钥库类型。

配置服务器端身份验证和数据加密的示例。

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka-3:9093
a1.channels.channel1.kafka.topic = channel1
a1.channels.channel1.kafka.consumer.group.id = flume-consumer
a1.channels.channel1.kafka.producer.security.protocol = SSL
a1.channels.channel1.kafka.producer.ssl.truststore.location = /path/to/truststore.jks
a1.channels.channel1.kafka.producer.ssl.truststore.password = <password to access the truststore>
a1.channels.channel1.kafka.consumer.security.protocol = SSL
a1.channels.channel1.kafka.consumer.ssl.truststore.location = /path/to/truststore.jks
a1.channels.channel1.kafka.consumer.ssl.truststore.password = <password to access the truststore>

注意：默认情况下，未定义属性ssl.endpoint.identification.algorithm，因此不会执行主机名验证。 要启用主机名验证，请设置以下属性

a1.channels.channel1.kafka.producer.ssl.endpoint.identification.algorithm = HTTPS
a1.channels.channel1.kafka.consumer.ssl.endpoint.identification.algorithm = HTTPS

启用后，客户端将根据以下两个字段之一验证服务器的完全限定域名（FQDN）：

如果还需要客户端身份验证，则还应将以下内容添加到Flume代理配置中。 每个Flume代理都必须拥有其客户证书，该证书必须由Kafka brokers单独或通过其签名链进行信任。 常见示例是由单个根CA签署每个客户端证书，而后者又由Kafka代理信任。

a1.channels.channel1.kafka.producer.ssl.keystore.location = /path/to/client.keystore.jks
a1.channels.channel1.kafka.producer.ssl.keystore.password = <password to access the keystore>
a1.channels.channel1.kafka.consumer.ssl.keystore.location = /path/to/client.keystore.jks
a1.channels.channel1.kafka.consumer.ssl.keystore.password = <password to access the keystore>

如果密钥库和密钥使用不同的密码保护，则ssl.key.password属性将为consume和 producer密钥库提供所需的额外密钥：

a1.channels.channel1.kafka.producer.ssl.key.password = <password to access the key>
a1.channels.channel1.kafka.consumer.ssl.key.password = <password to access the key>

Kerberos and Kafka Channel:
要将Kafka通道与使用Kerberos保护的Kafka群集一起使用，请为producer和/或consumer设置上面提到的producer/consumer.security.protocol属性。 与Kafka brokers 一起使用的Kerberos密钥表和主体在JAAS文件的“KafkaClient”部分中指定。 “Client”部分描述了Zookeeper连接（如果需要）。 有关JAAS文件内容的信息，请参阅Kafka doc。 可以通过flume-env.sh中的JAVA_OPTS指定此JAAS文件的位置以及可选的系统范围的kerberos配置：

JAVA_OPTS="$JAVA_OPTS -Djava.security.krb5.conf=/path/to/krb5.conf"
JAVA_OPTS="$JAVA_OPTS -Djava.security.auth.login.config=/path/to/flume_jaas.conf"

使用SASL_PLAINTEXT的示例安全配置：

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka-3:9093
a1.channels.channel1.kafka.topic = channel1
a1.channels.channel1.kafka.consumer.group.id = flume-consumer
a1.channels.channel1.kafka.producer.security.protocol = SASL_PLAINTEXT
a1.channels.channel1.kafka.producer.sasl.mechanism = GSSAPI
a1.channels.channel1.kafka.producer.sasl.kerberos.service.name = kafka
a1.channels.channel1.kafka.consumer.security.protocol = SASL_PLAINTEXT
a1.channels.channel1.kafka.consumer.sasl.mechanism = GSSAPI
a1.channels.channel1.kafka.consumer.sasl.kerberos.service.name = kafka

使用SASL_SSL的示例安全配置：

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka-3:9093
a1.channels.channel1.kafka.topic = channel1
a1.channels.channel1.kafka.consumer.group.id = flume-consumer
a1.channels.channel1.kafka.producer.security.protocol = SASL_SSL
a1.channels.channel1.kafka.producer.sasl.mechanism = GSSAPI
a1.channels.channel1.kafka.producer.sasl.kerberos.service.name = kafka
a1.channels.channel1.kafka.producer.ssl.truststore.location = /path/to/truststore.jks
a1.channels.channel1.kafka.producer.ssl.truststore.password = <password to access the truststore>
a1.channels.channel1.kafka.consumer.security.protocol = SASL_SSL
a1.channels.channel1.kafka.consumer.sasl.mechanism = GSSAPI
a1.channels.channel1.kafka.consumer.sasl.kerberos.service.name = kafka
a1.channels.channel1.kafka.consumer.ssl.truststore.location = /path/to/truststore.jks
a1.channels.channel1.kafka.consumer.ssl.truststore.password = <password to access the truststore>

示例JAAS文件。 有关其内容的参考，请参阅SASL配置的Kafka文档中所需认证机制（GSSAPI / PLAIN）的客户端配置部分。 由于Kafka Source也可能连接到Zookeeper以进行偏移迁移，因此“Client”部分也添加到此示例中。 除非您需要偏移迁移，否则不需要这样做，或者您需要此部分用于其他安全组件。 另外，请确保Flume进程的操作系统用户对jaas和keytab文件具有读权限。

Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  storeKey=true
  keyTab="/path/to/keytabs/flume.keytab"
  principal="flume/flumehost1.example.com@YOURKERBEROSREALM";
};

KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  storeKey=true
  keyTab="/path/to/keytabs/flume.keytab"
  principal="flume/flumehost1.example.com@YOURKERBEROSREALM";
};
DoNotStop
关注
专栏目录
flume之kafkachannel
lzlnd的博客
05-14 2970
1.安装flume 2.安装kafka 3.测试kafka的topic是否能正常的传递消息 4.都准备好之后开始接通kafkachannel， 1）kafka的no-sink #定义agent名， source、channel的名称 a0.sources = r1 a0.channels = c1 #具体定义source a0.sources.r1.type = exec a0.so...
Flume KafkaChannel的使用
upupfeng的博客
03-03 2069
Flume提供了Kafka Sink将数据写入Kafka，也提供了KafkaChannel使用Kafka作为Channel存储数据。 使用KafkaChannel既可以避免Memory Channel的内存溢出，又可以提供不错的性能。 另外当我们需要将数据写入Kafka时，可以不需要Sink，直接使用KafkaChannel就可以将数据写入Kafka，省去了Sink的开销。 以下简单介绍下KafkaChannel的使用。Flume的版本是1.9.0。 需要注意的几点 通常，与channel相关的配置值应用
Flume kafkaChannel
yang灬仔
07-06 604
flume的一个agent包括source、channel、sink，但是有时候其实可以不需要source或者是sink，比如在使用flume时，把flume监控的日志发送到kafka中，可以不用使用sink，把channel定义为kafkachannel，kafkachannel作为生产者，直接把数据生产到kafka中，或者使用flume监控kafka中的数据，把数据发送到其他地方，可以不使用source，使用kafkachannel作为消费者，从kafka中拉数据，把数据写到指定的sink上 使用.
kafka06-生产者通信组件NetworkClient、KafkaChannel和InFlightRequests
最新发布
m0_63833709的博客
06-29 847
通过管理与每个Broker节点的连接状态，并使用Java NIO的Selector来高效地处理多个。在Kafka中，类是负责与Broker节点进行网络通信的核心组件，它在Java NIO的基础上增加了身份验证和加密的功能。以下是。
flume kafka channel 应用详解
qq_34125999的博客
02-03 924
Kafka Source 是一个 Apache Kafka 消费者，它从 Kafka 主题中读取消息。如果您有多个 Kafka 源正在运行，您可以使用相同的消费者组配置它们，这样每个源都将读取一组唯一的主题分区。测试已完成至 2.0.1，这是发布时的最高可用版本。这是一个可以将数据发布到 Kafka 主题的 Flume Sink 实现。目标之一是将 Flume 与 Kafka 集成，以便基于拉取的处理系统可以处理来自各种 Flume 源的数据。测试已完成至 2.0.1，这是发布时的最高可用版本。
flume--KafkaChannel的使用
weixin_43866709的博客
05-08 5026
一.为什么使用KafkaChannel？ 在使用flume对接Kafka时，我们往往使用TailFileSource–>MemoryChannel–>KafkaSink的这种方式，然后将数据输送到Kafka集群中。如图所示： 但是这种方式有弊端： 1.TailFileSource只能监听一个文件 2.MemoryChannel数据会有堆积，内存可能溢出（而FileChannel又比较...
flume-ng-kafka-source
06-13
水槽-ng-kafka-源 注意flume-ng-kafka-source 已合并到即将发布的flume 1.6 中。...agent_log.sources.kafka0.channels = channel0 特别感谢 事实上，我是 Java 的新手。 我从学到了很多。 感谢 。
采用Flume-kafka-Flume将数据导入到HDFS中
EbenezerZhao的博客
08-14 1326
首先，我们要创建两个conf文件供Flume来使用，分别为flume-kafka.conf和kafka-flume-hdfs.conf,然后我们创建一个kafka的topic，叫做flume，我们通过这个topic来检验flume的数据是否传输给了kafka。 下面是示例代码。 首先创建flume-kafka.conf # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = spooldir
apache-flume-1.9.0-bin.tar.gz
07-28
agent.channels.channel1.transactionCapacity = 100 agent.sinks.sink1.type = file_roll agent.sinks.sink1.channel = channel1 agent.sinks.sink1.path = /path/to/output/directory agent.sinks.sink1....
Flume使用大全之kafka source-kafka channel-hdfs(kerberos认证，SSL加密)
xiaoji88326518的专栏
08-07 1478
agent.sources = kafkaSource1 agent.channels = kafkaChannel agent.sinks = hdfsSink agent.sources.kafkaSource1.channels = kafkaChannel agent.sinks.hdfsSink.channel = kafkaChannel agent.sour
flume第六讲:kafka channels(多用于实时)
weixin_45896475的博客
04-22 593
flume第六讲:kafka channels(多用于实时) 工作机制 agent利用kafka作为channel数据缓存 kafka channel和kafka sources,kafka sink区分开来 kafka channel再应用时,可以没有source或者说可以没有sink 如果是把kafka作为最终的采集,那么就只要source+kafka channel 如果要是把kafka作为...
kafka-consumer-channel:允许将Flume用作高速通用Kafka消费者
05-15
Flume的“ Kafka消费者”渠道 这是Flume的非常高吞吐量的通道，可将Flume用作高速可靠的Kafka用户。 它走多快？ 当通过10GigE连接从1个经纪人Kafka群集消耗1000个字节的事件时，它的时钟速率约为360 MB / s，并附有单个Null Sink（最快的接收器）。 使用较慢的接收器，它将以接收器可以运行的最快速度运行。 相反，当Kafka Source配置有Memory通道和Null接收器时，可以提供大约150 MB / s的速度。 但是，要从Flume代理崩溃进行可靠的恢复，将需要文件通道。 对于单个磁盘，文件通道只能提供大约40 MB / s的速度。 为什么可靠？ 该频道依赖于Kafka保留消耗事件的能力。 万一接收器的交付尝试失败或Flume进程崩溃，我们仍然可以从Kafka撤回此类“飞行中”事件，并在以后的某个时间点交付它们。 它提供“至少一
kafka channel
weixin_43589563的博客
10-07 601
kafka channel的三种角色： （1）只做单纯的channel 提供高可靠性；但是会造成跨节点数据传输； （2）做channel + sink 下游直接从kafka消费 （3）做source + channel 直接从kafka消费数据
Kafka生产者架构（六） - KafkaChannel
The Secret
10-11 699
本文介绍Kafka生产者的KafkaChannel模型。
kafka与flume整合(kafka充当source,sink,channel)
weixin_56571886的博客
09-08 745
Kafka充当Flume的source数据源，此时也就意味着Flume需要采集Kafka的数据，Flume相当于是kafka的一个消费者
flume高并发优化——（4）kafka channel
热门推荐
ESOO
04-25 1万+
在上篇博客中，我们还留了一个小疑问，就是我们对最后一个flume的优化是如何做的，关于这一点，我们的思路是这样的，file的瓶颈是io，而我们使用的硬盘是5400转1t硬盘，如果想要优化，我们必须找到性能和memory相当，但是又能较好的保存数据，保证事务性的channel，符合这样要求的一款channel进入了我们的视线，就是kafkachannel，具体怎么做的，请大家看详细介绍：优化之前的架
Flume Kafka Channel使用案例
破晓的成长之路
10-04 3813
flume有三大组件：source，channel，sink。 根据不同的适用场景其中又有进一步的分类，channel见得比较比较多的有file channel（base on secondary memory）、memory channel (base on main memory)。file channel的安全性要比memory channel高，但效率次之；反之即反。 在使用flume实时...
Flume与Kafka对接
qq_61809177的博客
04-17 1304
Flume组件： agent source channel sinkkafka组件：节点集群服务器 **consumer **
Flume之使用Kafka_Channel消费数据至HDFS
TomAndersen的博客
04-25 915
前言 操作系统：CentOS 7 Java版本：1.8.0_221 Flume版本：1.8.0 1. Kafka Channel使用场景 配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel 配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中...
启动文件file-flume-kafka.conf
06-10
kafka-flume-agent.channels = kafka-channel kafka-flume-agent.sinks = logger-sink # Describe/configure the source kafka-flume-agent.sources.kafka-source.type = org.apache.flume.source.kafka.Kafka...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值