Kafke:调整副本存储位置

本文介绍了如何在Kafka中创建新topic并手动调整其分区副本的存储位置,以平衡服务器负载。通过Zookeeper客户端查看broker节点信息,然后使用kafka-topics.sh和kafka-reassign-partitions.sh脚本进行创建、描述、调整和验证副本存储计划。
摘要由CSDN通过智能技术生成

如何确定broker的id所在的服务器ip

查看broker节点信息可以进入zookeeper客户端中查看:

运行zkCli.sh进入客户端。

输入ls 可以看到相关的节点。 输入 ls /broker/ids 可以看到broker数据

在生产环境中,每台服务器的配置和性能不一致,但是Kafka只会根据自己的代码规则创建对应的分区副本,就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。

需求:

创建一个新的topic,4个分区,两个副本,名称为test。将 该topic的所有副本都存储到broker0和broker1两台服务器上。

(1)创建一个新的 topic,名称为 test。

bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --create --partitions 4 --replication-factor 2 --topic test

(2)查看分区副本存储情况。

bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --describe --topic test

(3)创建副本存储计划(所有副本都指定存储在 broker0、broker1 中)。

vim increase-replication-factor.json

输入如下内容:

{
  "version":1,
  "partitions":[{"topic":"test","partition":0,"replicas":[0,1]},
                  {"topic":"test","partition":1,"replicas":[0,1]},
                  {"topic":"test","partition":2,"replicas":[1,0]},
                  {"topic":"test","partition":3,"replicas":[1,0]}]
}

(4)执行副本存储计划。

bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.25.129:9092 --reassignment-json-file increase-replication-factor.json --execute

(5)验证副本存储计划。

bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.25.129:9092 --reassignment-json-file increase-replication-factor.json --verify

(6)查看分区副本存储情况。

bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --describe --topic test

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员无羡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值