0748-5.14.4-Kafka的扩容和缩容

最新推荐文章于 2024-06-26 09:15:00 发布

Hadoop_SC

最新推荐文章于 2024-06-26 09:15:00 发布

阅读量2.4k

点赞数

分类专栏： Hadoop实操

本文链接：https://blog.csdn.net/hadoop_sc/article/details/104592756

版权

本文档详细介绍了如何在Kafka集群中进行扩容和缩容操作，包括新机器的准备、通过CM添加主机、生成及执行平衡策略等步骤。在扩容后，需手动使用kafka-reassign-partitions命令进行数据平衡。缩容时，需迁移数据并从CM删除broker。

摘要由CSDN通过智能技术生成

文档编写目的

在Kafka集群资源使用已超出系统配置的资源时，或者有大量资源闲置造成资源浪费的时候，需要分别通过扩容Kafka和缩容Kafka来进行调整。本篇文章Fayson主要介绍如何进行Kafka的扩容和缩容，以及变更后的Kafka集群如何进行负载均衡的操作。

1.Redhat7.2

2.采用root用户操作

3.CM为5.16.2，CDH为5.14.4

4.Kafka版本为0.10.2

5.集群启用了Kerberos，Kafka未启用Kerberos和Sentry

Kafka集群的扩容

2.1 当前Kafka集群状态

集群中有3个kafka broker

有2个topic，分别为test和test1，情况如下

2.2 扩容前准备

新扩容的机器要先加入集群中，通过CM管理，按照下面的步骤进行操作

1.修改新添加的机器的hostname

[root@hadoop6 ~]# hostnamectl set-hostname cdh04.hadoop.com

2.修改/etc/hosts文件并同步到所有节点，这里用脚本来实现。

192.168.0.204 cdh01.hadoop.com cdh01
192.168.0.205 cdh02.hadoop.com cdh02
192.168.0.206 cdh03.hadoop.com cdh03
192.168.0.195 cdh04.hadoop.com cdh04

3.新添加的节点关闭防火墙，设置开机自动关闭

[root@cdh04 ~]# systemctl stop firewalld
[root@cdh04 ~]# systemctl disable firewalld

4.新添加的节点禁用SELinux，并修改修改/etc/selinux/config

[root@cdh04 ~]# setenforce 0
setenforce: SELinux is disabled
[root@cdh04 ~]# vim /etc/selinux/config

5.新添加的节点关闭透明大页面，并且在/etc/rc.d/rc.local 里面加入脚本，设置自动开机关闭。

[root@cdh04 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh04 ~]# echo never > /sys/kernel/mm/

关注

专栏目录