kafka入门，节点服役和退役（新增节点和删除节点）(十二)

1、节点服役

1、克隆准备其中一台节点
2、如果新节点的kafka有被log和datas文件夹要删除
3、修改/etc/hosts 配置新节点映射

1.1 执行负载均衡操作

vim topics-to-move.json

{"topic": "主题名称"}

{
 "topics": [
	 {"topic": "first"}
	 ],
	 "version": 1
}

生成负载均衡计划
注意
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate

可以复制这个作为存储计划，也可以自定义

1.2 创建副本存储计划

vim  increase-replication-factor.json

执行存储计划

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute

1.3 验证副本存储计划。

kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify

查看主题详情

 kafka-topics.sh --bootstrap-server hadoop100:9092 --describe --topic first

2、节点退役

1.1 执行负载均衡操作

vim topics-to-move.json

{"topic": "主题名称"}

{
 "topics": [
	 {"topic": "first"}
	 ],
	 "version": 1
}

生成负载均衡计划
注意kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2" --generate

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2" --generate

2.2 创建副本存储计划

vim  increase-replication-factor.json

执行存储计划

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute

执行存储计划

kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute

2.3 验证副本存储计划。

kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify

查看主题详情

 kafka-topics.sh --bootstrap-server hadoop100:9092 --describe --topic first

关闭想要退出的节点

$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.propertie