kafka
方片龙
这个作者很懒,什么都没留下…
展开
-
kafka 消息丢失和重复消费
kafka 消息丢失和重复消费前言消息丢失producerconsumer重复消费前言在使用mq中间件时,如果消费数据处理不当可能会引起消息丢失和重复消费的问题。本文针对kafka的这两个问题进行场景分析和可行性方案说明。消息丢失消息丢失一般指消息发送方producer和消息消费方consumer两方面。producer消息发送方可以通过配置request.required.acks属性来保证消息的安全发送,值包括:0:表示不进行消息接收是否成功的确认1:表示当Leader接收成功时确认原创 2020-06-26 23:38:08 · 961 阅读 · 0 评论 -
Kafka-Consumer -- 分区消费策略
Kafka-Consumer 源码解析 -- 分区消费策略原创 2020-06-26 22:46:52 · 975 阅读 · 1 评论 -
Kafka-Consumer 源码解析 -- 数据消费
Kafka-Consumer 源码解析 -- 数据消费原创 2020-06-26 21:33:15 · 427 阅读 · 0 评论 -
Kafka-Consumer 源码解析 -- 数据拉取和offset提交
Kafka-Consumer 源码解析 -- 数据拉取和offset提交原创 2020-05-28 23:58:26 · 1122 阅读 · 0 评论 -
Kafka-Consumer 源码解析 -- rebalance过程和partition的确认
Kafka-Consumer 源码解析 -- rebalance过程和partition的确认前言1、rebalance过程分析2、consumer的partition确认本文参考:参考1:https://www.cnblogs.com/benfly/p/9605976.html前言 在listener注册和启动之后,每个KafkaListener会开启若干个线程consumer进行数据拉取。这些consumer会先加入到对应的kafka消费组中,触原创 2020-05-16 01:03:11 · 1231 阅读 · 2 评论 -
Kafka 顺序消费方案
Kafka 顺序消费方案前言1、问题引入2、解决思路3、实现方案前言 本文针对解决Kafka不同Topic之间存在一定的数据关联时的顺序消费问题。如存在Topic-insert和Topic-update分别是对数据的插入和更新,当insert和update操作为同一数据时,应保证先insert再update。1、问题引入 ...原创 2020-05-03 13:27:08 · 5586 阅读 · 1 评论 -
Kafka-Consumer 源码解析 -- listener 注册和启动
浅谈 Kafka-Consumer 源码原创 2020-05-07 22:06:01 · 2829 阅读 · 2 评论