kafka broker节点负载均衡失效

一大早上班,运维就给我发消息,说一台主机磁盘爆了,登上去一看

使用率100%,直接吓尿,发现是我的一台kafka主机,这是个kafka集群,共3台,再登录其他2台,发现磁盘使用率才10%,高可用呢????

立马觉得不对,百度没搜到啥,Google了下,说是没开启高可用。。。。

如下查看一个topic时发现Relicas确实只有一个节点。

 

解决方案:

我用的ambari建的kafka,修改Advanced kafka-broker下的offsets.topic.replication.factor,之前默认为1。

重启kafka

修改后,新建一个topic,发现正常了

但是!!!!之前创建的topic并没有增加副本,难道要删了topic重建么??

新建的topic会自动创建多个副本,但并未指定分区。

手工添加,从1个分区增加到3个,

手工指定副本。先新建文件addReplicas.json,参考https://blog.csdn.net/liliwei0213/article/details/55212766

 

./kafka-reassign-partitions.sh --zookeeper 10.40.1.58:2181 --reassignment-json-file addReplicas.json --execute
即可解决。

 

还有个问题就是我是 用logstash创建的topic,默认就只有1个分区!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值