kafka
文章平均质量分 85
夜月行者
我们一定要活的没有遗憾,有朝一日一定要出海,随心所欲的活着,比谁都要自由!
展开
-
kafka消息反复从头开始消费问题排查
问题描述 最近线上的一个数据服务(服务B)出现了一个比较诡异的问题 ,该服务消费上游服务(服务A)产生的kafka消息数据,上线后一直运行平稳,最近一周在两次上线的时候出现了大量数据更新的情况,查看服务日志发现每次都从kafka的起始位置进行消费了,而kafka topic的数据一般是保留最近7天,但是这是不应该发生的,因为监控显示服务B在重启前是没有什么延迟的,更加不可能说是有7天的延迟,而且在kafka的broker上理论上会保留每个consumer-group的信息,一般会有一定的保留时长,在业务原创 2021-04-25 18:12:34 · 3305 阅读 · 0 评论 -
kafka学习梳理
文章目录1. kafka是一个消息队列,2. kafka中主要的术语3. kafka broker3.1 topic partition的数据冗余和leader partition3.2 集群中的controller3.3 partition中的leader,follower,in-sync-replica3.4 partition中消息的High-Watermark4 producer5 consumer这一篇简要总结一下kafka的原理和概念1. kafka是一个消息队列,对应的特性有高吞吐量原创 2021-02-26 15:39:13 · 2000 阅读 · 9 评论 -
kafka日志清理策略,compact和delete
文章目录1. kafka日志清理策略概述2. kafka segment2.1 segmnet 的作用2.2 segment生成相关的配置3. 日志清理delete策略3.1 delete 相关配置3.2 简单总结4. 日志清理compact策略4.1 日志compact的使用场景4.2 compact的工作模式4.3 tombstone 消息4.4 低流量topic的注意事项4.5 简单总结compact的配置5. kafka创建修改topic的命令5.1. 创建topic的时候指定配置5.2 topic原创 2020-05-31 11:28:07 · 18908 阅读 · 13 评论 -
kafka_consumer_消费原理介绍
文章目录简介consumer使用样例consumer 如何和server通信,consumer的offset管理__consumer_offsetsconsumer group的rebalance关于coordinator在join-group的等待时间简介本文根据kafka-1.0.0 kafka的consumer相对来说比producer复杂一些,因为他牵扯到对offset的提交,co...原创 2019-02-21 19:14:54 · 2331 阅读 · 0 评论 -
kafka_rebalance过长问题排查
目录问题简介使用场景原因分析进一步探索先看server端设置超时的代码consumer 端的rebalanceTimeoutMs解决方案问题简介 最近kafka集群频繁出现了长时间rebalance(耗时5min级别),kafka在rebalance期间对应的consumer group中的consumer都是无法poll()下来数据的,导致consumer消费kafka当中数据出现了较大的...原创 2019-02-21 21:19:24 · 22233 阅读 · 11 评论