Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)

本文链接：https://blog.csdn.net/m0_61409092/article/details/137151593

有想进滴滴LogI开源用户群的加我个人微信: jjdlmn_ 进群(备注：进群)

群里面主要交流 kakfa、es、agent、以及其他技术

群内有专人解答疑问,你所问的都能得到回应

文章目录

- 技术交流
运维管控
- 集群列表
集群运维
- 迁移任务
- 手动迁移过程实现
数据迁移的几个注意点
Logi-KafkaManager 实现数据迁移
集群任务
版本管理
平台管理
专栏文章列表

项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台

运维管控

====================================================================

运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的;

集群列表

Kafka的灵魂伴侣Logi-KafkaManger三之运维管控–集群列表

集群运维

迁移任务

kafka的迁移场景, 一般有同集群数据迁移、跨集群数据迁移; 我们这里主要讲同集群数据迁移;

同集群之间数据迁移，比如在已有的集群中新增了一个Broker节点，此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中，缓解集群压力。

在了解KM的迁移功能之前,我们先了解一下正常情况下是怎么做迁移的;

手动迁移过程实现

分区重新分配工具可用于将一些Topic从当前的Broker节点中迁移到新添加的Broker中。这在扩展现有集群时通常很有用，因为将整个Topic移动到新的Broker变得更容易，而不是一次移动一个分区。当执行此操作时，用户需要提供已有的Broker节点的Topic列表，以及到新节点的Broker列表（源Broker到新Broker的映射关系）。然后，该工具在新的Broker中均匀分配给指定Topic列表的所有分区。在迁移过程中，Topic的复制因子保持不变。

现有如下实例，将Topic为ke01，ke02的所有分区从Broker1中移动到新增的Broker2和Broker3中。由于该工具接受Topic的输入列表作为JSON文件，因此需要明确迁移的Topic并创建json文件，如下所示：

cat topic-to-move.json

{“topics”: [{“topic”: “ke01”},

{“topic”: “ke02”}],

“version”:1

}

1 . 准备好JSON文件，然后使用分区重新分配工具生成候选分配，命令如下：

bin/kafka-reassign-partitions.sh --zookeeper dn1:2181 --topics-to-move-json-file topics-to-move.json --broker-list “1,2” --generate

执行完成命令之后，控制台出现如下信息：

在这里插入图片描述

该工具生成一个候选分配，将所有分区从Topic ke01，ke02移动到Broker1和Broker2。需求注意的是，此时分区移动尚未开始，它只是告诉你当前的分配和建议。保存当前分配，以防你想要回滚它。新的赋值应保存在JSON文件（例如expand-cluster-reassignment.json）中，以使用–execute选项执行。JSON文件如下：

{“version”:1,“partitions”:[{“topic”:“ke02”,“partition”:0,“replicas”:[2]},{“topic”:“ke02”,“partition”:1,“replicas”:[1]},{“topic”:“ke02”,“partition”:2,“replicas”:[2]},{“topic”:“ke01”,“partition”:0,“replicas”:[2]},{“topic”:“ke01”,“partition”:1,“replicas”:[1]},{“topic”:“ke01”,“partition”:2,“replicas”:[2]}]}

2. 执行命令如下所示：