- 博客(6)
- 收藏
- 关注
RSS订阅
原创 记一次 Kafka 集群线上扩容
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移...
2019-10-26 18:44:49
5488
原创 图解：Kafka 水印备份机制
高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息，如果 leader 在整个集群运行过程中不发生故障，follower 副本不会起到任何作用，问题就...
2019-10-31 08:05:33
1126
原创 Kafka 分区重分配源码分析
上一篇跟大家描述了 Kafka 集群扩容的方案与过程，这次就跟大家详细描述 Kafka 分区重分配的实现细节。Kafka 为用户提供了分区重分配的执行脚本 kafka-reassign-partitions.sh，脚本内容如下：ReassignPartitionsCommand 类为我们提供了分区重分配的功能，主要有如下方法：generateAssignment() 函数：对应执行脚本的 --ge...
2019-10-28 08:08:49
2238
原创 后端进阶技术交流群
之前有很多网友加我好友，问我有没有一些技术交流群，加上之前文章很多都是解答网友而写的，这也说明互相交流是学习最有效的方法，也应网友的要求，我为公众号开了一个学习交流群，目...
2019-10-26 18:44:49
1347
原创 关于RocketMQ消息拉取与重平衡的一些问题探讨
其实最好的学习方式就是互相交流，最近也有跟网友讨论了一些关于 RocketMQ 消息拉取与重平衡的问题，我姑且在这里写下我的一些总结。关于 push 模式下的消息循环拉取问题之前发表了一篇关于重平衡的文章：「但是其中有一些是没有详细说的，比如每次拉消息都要等 20s 吗？真的有个网友问了我如下问题：很显然他的项目是用了 push 模式进行消息拉取，要回答这个问题，就要...
2019-10-13 10:00:00
1445
原创 一个小小的里程碑
过去几天，这个公众号粉丝数量突破 2000 人了，这个数量可能对于一些公众号来说，连零头都不到，但对于我来说，有这么一群小伙伴看我写的技术分享，我就觉得很满足了，你们就是...
2019-10-10 07:45:16
1119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人