生产者
运行机制
发送kafka服务端机制
1.batch.size:只有数据积累到batch.size之后,sender才会发送数据。默认16k
2.linger.ms:如果数据迟迟未达到batch.size,sender等待linger.ms设置的时间到了之后就会发送数据。单位ms,默认值是0ms,表示没有延迟。
asks应答机制
0:生产者发送过来的数据,不需要等数据落盘应答。(数据可靠性: 低)
1:生产者发送过来的数据,Leader收到数据后应答。(数据可靠性: 中)
-1(all):生产者发送过来的数据,Leader和ISR队列里面的所有节点收齐数据后应答。-1和all等价 (数据可靠性: 高)
上诉两类参数,可用于生产调优
重要选项
参数 | 描述 |
---|---|
–bootstrap-server <String: server toconnect to> | 连接的 Kafka Broker 主机名称和端口号。 |
–topic <String: topic> | 操作的 topic 名称。 |
操作示例
向first主题发送消息
bin/kafka-console-producer.sh --bootstrap-server host:port --topic first
>hello world1
>hello world2
消费者
工作流程
消费者组
Consumer Group(CG):消费者组,逻辑概念,由多个consumer组成。形成一个消费者组的条件,是所有消费者的groupid
相同。一个消费者也是一个组,系统默认会生成一个组
消费者消费哪个分区
- 消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。
- 消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
3种常规情况示例
2种复杂情况示例
组初始化流程
一个完整的消费者组初始化流程为7步,coordinator
是用来辅助实现消费者组的初始化和分区的分配
组消费流程
消费者
与Kafka cluster
中间有一层Consumer
来中转、分发消息,工作机制如图
- 重要参数
参数名称 | 描述 |
---|---|
bootstrap.servers | 向 Kafka 集群建立初始连接用到的 host/port 列表。 |
key.deserializer 和 value.deserializer | 指定接收消息的 key 和 value 的反序列化类型。一定要写全类名。 |
group.id | 标记消费者所属的消费者组。 |
enable.auto.commit | 默认值为 true,消费者会自动周期性地向服务器提交偏移量。 |
auto.commit.interval.ms | 如果设置了 enable.auto.commit 的值为 true, 则该值定义了消费者偏移量向 Kafka 提交的频率,默认 5s。 |
auto.offset.reset | 当 Kafka 中没有初始偏移量或当前偏移量在服务器中不存在(如,数据被删除了),该如何处理? earliest:自动重置偏移量到最早的偏移量。 latest:默认,自动重置偏移量为最新的偏移量。 none:如果消费组原来的(previous)偏移量不存在,则向消费者抛异常。 anything:向消费者抛异常。 |
offsets.topic.num.partitions | __consumer_offsets 的分区数,默认是 50 个分区。 |
heartbeat.interval.ms | Kafka 消费者和 coordinator 之间的心跳时间,默认 3s。该条目的值必须小于 session.timeout.ms ,也不应该高于session.timeout.ms 的 1/3。 |
session.timeout.ms | Kafka 消费者和 coordinator 之间连接超时时间,默认 45s。超过该值,该消费者被移除,消费者组执行再平衡 |
max.poll.interval.ms | 消费者处理消息的最大时长,默认是 5 分钟。超过该值,该消费者被移除,消费者组执行再平衡。 |
fetch.min.bytes | 默认 1 个字节。消费者获取服务器端一批消息最小的字节数。 |
fetch.max.wait.ms | 默认 500ms。如果没有从服务器端获取到一批数据的最小字节数。该时间到,仍然会返回数据。 |
fetch.max.bytes | 默认 Default: 52428800(50 m)。消费者获取服务器端一批消息最大的字节数。如果服务器端一批次的数据大于该值(50m)仍然可以拉取回来这批数据,因此,这不是一个绝对最大值。一批次的大小受 message.max.bytes (broker config)or max.message.bytes (topic config)影响。 |
max.poll.records | 一次 poll 拉取数据返回消息的最大条数,默认是 500 条。 |
消费模式
-
pull(拉)模 式
consumer采用从broker中主动拉取数据。
Kafka采用这种方式。不足之处是,如果Kafka没有数
据,消费者可能会陷入循环中,一直返回空数据 -
push(推)模式
Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。
例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。
重要选项
参数 | 描述 |
---|---|
–bootstrap-server <String: server toconnect to> | 连接的 Kafka Broker 主机名称和端口号。 |
–topic <String: topic> | 操作的 topic 名称。 |
–from-beginning | 从头开始消费。 |
–group <String: consumer group id> | 指定消费者组名称。 |
操作示例
- 消费 first 主题中的数据
bin/kafka-console-consumer.sh --host:port hadoop102:9092 --topic first
- 把主题中所有的数据都读取出来(包括历史数据)
bin/kafka-console-consumer.sh --host:port hadoop102:9092 --from-beginning --topic first