kafka学习
JoshuaXin
这个作者很懒,什么都没留下…
展开
-
三:Kafka消费者(2)
1.消费者拉取消息之前,一定要保证已经分配了分区,步骤如下: 1)消费者向协调者申请加入消费组; 2)服务端存在管理消费组的协调者,协调者将消费者加入消费组; 3)触发消费组再平衡操作,协调者为所有消费者分配分区; 4)消费者从协调者获得分配的分区; 5)从协调获取偏移量,然后开始拉取分区的消息;2.消费者执行再平衡和提交偏移量都是直接与协调者交互:...原创 2019-11-10 18:00:34 · 179 阅读 · 0 评论 -
kafka的一些理解
1.生产者的架构比较简单,逻辑上也相对简单,受分区再平衡的影响也比较小; 生产者这块包括几部分:1.网络客户端,用来建立连接、发送请求、读取响应之类; 2.记录聚集器,将消息按分区聚集,并放入队列; 3.发送线程,从队列中,获取消息,并批量发送给Brokers;2.消费者这边的功能略负责一些: 包括:再平衡处理、网络客户端、拉取线程拉取消息、客户端消费消息、...原创 2019-11-10 16:53:53 · 156 阅读 · 0 评论 -
三:Kafka消费者(1)
一:简介 1.默认规则:一个分区只有一个消费者来消费; 2.消费组再分区:消费组发生; 3.消费进度:消费者保存,提交到分区,以消费组为单位,一般在ZK或者内部主题中(consumer_offset);根据不同的提交,也分“Once more”、“once least”; 4.ZK中记录了Kafka的内部元数据,包括Brokers、topic、分区状态、消费者...原创 2019-11-05 10:00:31 · 188 阅读 · 0 评论 -
二:kafka生产者
一:简介 1.相比较消费者、协调者、控制器、日志存储而言,生成者的功能相对较简单,因大部分的工作都交给Broker来处理,生产者需要关注的是消息提交失败、消费者反馈的失败的处理上面; 2.生产消息的流程:消息放入队列中、由消息发送线程拉取消息、批量发送给Brokers; 3.生产程序KafkaProducer; 4.消息收集器,RecordAccumulator,负责缓存生...原创 2019-11-04 09:59:35 · 165 阅读 · 0 评论 -
一:kafka简介(看书总结版)
一:基本概念1.kafka 的作用:解决应用解耦、异步消息、流量削峰的问题; 个人理解:kafka使用于业务流程的分支部分,用来解耦,也可以加强并发;比如评论的技术功能,订单系统的送积分等等;好处多多,使主流程更轻薄、逻辑清晰、高请求量下仍保证功能可用性等等;缺点也有些:需要做好失败的准备,尤其是消费者需要处理“仅有一次”,做好进度commit、失败记录、失败通知等;2.kafka...原创 2019-11-03 17:14:21 · 791 阅读 · 0 评论