《kafka权威指南》学习记录之消费者

注:本博客该系列作为学习kafka的概要记录,再在之后的学习或工作中实践,提高效率。

二.消费者

1.消费者 消费者组 主题 partition之间的关系

每个topic的每个partition只能被一个消费者组中的一个消费者消费。

2.消费者的分区策略

三种:roundrobin range stickyassignor.要点:三种策略具体怎么分区,优缺点,适用场景,对应配置partition.assignment.strategy,分配分区的过程

3.分区再平衡

什么情况下会触发再平衡?

答:消费者组订阅的topic新增分区;消费者组的消费者数量变化;

在平衡的过程?

答:和分区分配的过程相似。心跳,群组协调器,心跳频率,会话过期时间。

发生再平衡有哪些影响?

答:再均衡期间,消费者无法读取数据;当分区分配另一个消费者后,当前的消费状态可能会丢失,可能需要刷新缓存,在重新回复状态前降低效率。造成数据的重复消费(例如:poll方法有个参数,拉取批次数量,当处理一个批次再提交偏移量时,如果处理数据过程中生产者发生崩溃)

怎么避免再分配及降低再分配的影响?

答:开始时就创建合理的分区数量和生产者数量;监听器;控制心跳频率和会话过期时间,避免误判(发送心跳的时间:获取消息或者提交偏移量时;新版本引入一个心跳线程,可以在处理数据的过程中发送心跳)。

4.怎么写一个健壮的消费者应用程

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值