kafka的扩容难点

最新推荐文章于 2025-10-05 21:34:37 发布
最新推荐文章于 2025-10-05 21:34:37 发布
阅读量510 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： kafka
原文链接：http://mdba.cn/2015/11/05/kafka%E6%89%A9%E5%AE%B9/
博客介绍了Kafka扩容相关内容。扩容难点一是增加机器后需将数据rebalance到新增空闲节点，可使用bin/kafka - reassign - partitions.sh工具迁移partitions；二是集群数据量大时rebalance时间长，可设置log.retention.hours=1并重启节点来处理。还给出了特定版本集群扩容操作记录。

kafka的扩容【转】

http://mdba.cn/2015/11/05/kafka%E6%89%A9%E5%AE%B9/

kafka的扩容难点：

1）主要在于增加机器之后，数据需要rebalance到新增的空闲节点，即把partitions迁移到空闲机器上。

kafka提供了bin/kafka-reassign-partitions.sh工具，完成parttition的迁移。

2）kafka的集群的数据量加大，数据rebalance的时间较长。解决办法是把log.retention.hours=1设置一小时（生产参数24小时）。

修改参数之后，重启kakfa节点，kafka会主动purge 1小时之前的log数据。

以下是kafka_0.8.1.1版本kafkka集群扩容操作记录，从16台物理机扩容到24台物理，partition数量由128个增加到192个

xfxcss
关注
Kafka 基本操作之集群扩容
流华追梦的专栏
03-29 1318
Kafka 集群的服务发现是由 ZooKeeper 实现的，因此 Kafka 集群想添加新的 Broker 就非常容易。我们只需要为新的 Broker 设置一个唯一的 broker.id， 然后启动新增的 Kafka 就行。Kafka 集群会自动发现新增的 Broker 并同步原数据，包括当前集群有哪些 topics 以及 topics 的分区信息等。分区重新分配工具还可以用于选择性地将分区的副本移动到特定的 Broker 集。
kafka集群broker节点扩容方案
热门推荐
watermelonbig的专栏
09-19 1万+
在用kafka集群有3个节点，即host1, host2, host3，现需要将broker节点扩容至6个，以提供更高的数据处理能力。 一、上架一台物理服务器用于提供更多的资源 新扩容3个broker节点，host4,host5,host6 二、在三台新增节点上部署kafka应用程序 这些不是本文的重点，略过。 三、重新分布原有的topic分区 1、查看集群中当
大数据领域 Kafka 的集群扩容与缩容方案
AI算力网络与通信的博客
09-02 631
想象你经营着一家“数据快递站”——Kafka 集群，每天要处理成千上万的“消息快递”。刚开始业务小，3个快递员（Broker）就够了；但双11来了，快递堆成山，快递员忙不过来（节点负载过高）；双11后，快递量骤降，快递员闲着没事干（资源浪费）。Kafka 集群扩容与缩容就是解决这个问题：在不影响快递处理的前提下，灵活增减快递员，让每个快递员工作量刚好合适。为什么需要扩缩容（核心痛点）扩缩容的底层原理（Kafka 如何“搬家”）详细实施步骤（从规划到验证的全流程）
kafka 扩容
qstater的博客
11-29 3577
现在在用kafka集群有3个节点，即zk1、zk2、zk3，现需要将broker节点扩容至4个，以提供更高的数据处理能力。 1.1 新扩容1个broker节点zk4 ，并部署kafka应用程序；我是虚拟机，全部在一台上跑的测试，只启用了一个zookeeper服务没启用zookeeper集群，但是和实际应用差不多。 cat ../config/server1.properties num.network.threads=3 num.io.threads=8 socket.send.buffer.byt
学习 Kafka，提升大数据项目开发能力
AI天才研究院
08-15 736
Kafka 是应对实时数据洪流的分布式消息系统引擎，高吞吐、低延迟、高可靠、可扩展是其核心价值。Topic（逻辑流）、Partition（并行子流）、Producer（写入者）、Consumer & Consumer Group（组内并行消费）、Broker（节点）、Replica (副本，保证可靠)、ISR（同步副本集）。日志/指标采集、微服务解耦、流处理、批流一体数据湖/仓。平衡吞吐、延迟、可靠性（生产者acksbatch.size、消费者fetchpoll。
【深入理解Kafka系列】第三章 消费者
辛勤的搬运工_
10-03 2096
主要讲述消费者、消费组的一些概念。还包括消费者的必要参数配置、订阅、位移提交等的使用。
大数据最佳实践-kafka
program哲学
04-16 6573
kafka各个重难点大全，超详细
大数据领域 Kafka 的监控与运维要点
最新发布
专注搜索引擎技术
10-05 891
随着企业数字化转型加速，实时数据处理需求激增（如电商大促的订单流、物流的包裹追踪）。Kafka凭借高吞吐、低延迟的特性，成为企业级实时数据流的"血管系统"。本文聚焦Kafka集群的监控指标设计与日常运维操作，覆盖从基础概念到实战落地的全流程，帮助技术团队避免"数据流堵车"和"系统崩溃"等生产事故。本文将按"概念→监控→运维→实战"的逻辑展开：先用快递中心类比理解Kafka核心组件；再拆解必须监控的关键指标；接着讲解日常运维的高频操作；最后通过实战案例演示如何用工具落地监控与故障恢复。Broker。
三万字 | Kafka 知识体系保姆级教程宝典
m0_67322837的博客
05-26 482
本文目录： 一、消息队列 Apache Pulsar Pulsar 与 Kafka 对比 二、Kafka基础 三、Kafka架构及组件 四、Kafka集群操作 五、Kafka的JavaAPI操作 六、Kafka中的数据不丢失机制 七、Kafka配置文件说明 八、CAP理论 九、Kafka中的CAP机制 十、Kafka监控及运维 十一、Kafka大厂面试题 Kafka 涉及的知识点如下图所示，本文将逐一讲解： 本文档参考了关于 Kafka 的官网及其他众多资料整理而成，为了整洁的排版...
Kafka集群扩容(新增一台kafka节点)
weixin_45697805的博客
09-19 1315
kafka集群扩容、kafka topic迁移现有环境上步骤完成以后kafka集群没有完全扩容成功，因为只扩容了kafka节点，原来有的topic还是在原有的几点上，这台新扩容的还没有分担原有的压力，所以还需要迁移topic。
kafka-集群扩容
专注深耕linux、容器云原生、运维自动化等方向
02-20 929
随着业务增加，我们会面临这kafka当性能问题，需要进行集群扩容，增加broker节点。
kafka 难点
mengml_smile的博客
11-04 1350
参考文章 [[Kafka常见面试题](https://blog.csdn.net/qq_28900249/article/details/90346599) [参考文章](https://www.cnblogs.com/juniorMa/articles/13936154.html) 重要考点 kafka 为什么那么快 Cache Filesystem Cache PageCache缓存 顺序写 由于现代的操作系统提供了预读和写技术，磁盘的顺序写大多数情况下比随机写内存还要快。 Zero-c
kafka集群扩容以及数据迁移
weixin_30768175的博客
03-10 2121
一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话，需要给原有的旧机器加上新服务器的host，不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。 二 集群扩容后数据是不会自动均衡到新机器上的，需要采用kafka-reassign...
kafka如何扩容？
云音浅歌
02-25 1933
1.在新的物理机上安装kafka程序 2.修改config/server.properties文件里的broker.id必须在集群中唯一，修改其他必要的配置项，其中zookeeper.connect配置项，写上kafka集群现在使用的zookeeper集群的地址。 3.启动kafka就可以加入到集群中了。 注意 新加入的机器只能对新产生的topic起作用，对已有的topic在没有做处理前，是不会承...
kafka集群扩容实战
念念不忘，必有回响
06-26 927
线上的`Kafka`集群采用的部署方式为`KRaft`模式，3个`KRaft`+2个`broker`。`Kafka`版本`kafka_2.13-3.5.0`
【kafka】Kafka扩容
九师兄
09-23 437
1.概述 1.1 topic修改(replicats-factor)副本个数 假如初始时chatmessage为一个副本，为了提高可用性，需要改为2副本模式。脚本replicas-chatmessage-topic.json文件内容如下: { "partitions": [ { "topic": "chatmessage", "pa.
避坑指南：Kafka集群快速扩容的方案总结
过往记忆大数据
08-24 702
什么是数据迁移Apache Kafka 对于数据迁移的官方说法是分区重分配。即重新分配分区在集群的分布情况。官方提供了kafka-reassign-partitions.sh脚本来执行分区...
谷商城项目技术难点
03-21
5. **水平扩容与弹性伸缩** 利用云计算平台提供的自动扩缩容特性按需增删实例节点满足不同时间段业务需求波动变化规律的要求，进而达成成本效益最大化目标。 --- #### 架构设计 为了适应复杂的商业环境和技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值