批量修改Kafka topic的分区副本数代码

为了批量修改 Kafka topic 的分区副本数，可以编写一个脚本来自动生成上述 JSON 格式的配置文件，然后使用 Kafka 提供的 kafka-reassign-partitions.sh 脚本应用这些更改。以下是一种可能的解决方案，使用 Python 脚本来生成所需的配置文件：

步骤 1: 准备 Python 脚本

下面的 Python 脚本能够为你提供一个基本的框架，用于生成修改分区副本数所需的 JSON 文件。你只需根据实际情况调整 topics 和 replicas 变量。

import json

# 要修改的 topics 列表，每个 topic 下的分区数
topics_partitions = {
    "topic1": 10,  # topic1 有 10 个分区
    "topic2": 20,  # topic2 有 20 个分区
    # 添加更多 topic 和分区数...
}

# 每个分区想要的副本所在的 broker 列表
replicas = [0, 1]  # 示例：副本希望分布在 broker 0 和 broker 1 上

# 生成 JSON 结构
reassignment = {
    "version": 1,
    "partitions": []
}

for topic, partitions in topics_partitions.items():
    for partition in range(partitions):
        reassignment["partitions"].append({
            "topic": topic,
            "partition": partition,
            "replicas": replicas
        })

# 将 JSON 结构保存到文件
with open('reassignment.json', 'w') as f:
    json.dump(reassignment, f, indent=4)

print("生成的 reassignment.json 文件已保存。")

步骤 2: 运行 Python 脚本

将上述脚本保存为 .py 文件，例如 generate_reassignment.py，然后在终端或命令行中运行此脚本：

python generate_reassignment.py

此脚本将生成一个名为 reassignment.json 的文件，其中包含了所有指定的 topic 和分区的副本重新分配信息。

步骤 3: 应用分区副本数更改

在生成了 reassignment.json 文件后，你可以使用 Kafka 的 kafka-reassign-partitions.sh 脚本来应用这些更改：

kafka-reassign-partitions.sh --bootstrap-server <your-kafka-broker>:<port> --reassignment-json-file reassignment.json --execute

请将 : 替换为你的 Kafka 集群的一个 broker 的地址和端口。

注意事项

• 在应用分区副本数更改之前，务必检查你的 Kafka 集群状态，确保集群有足够的资源来支持副本的重新分配。
• 更改分区副本数可能会对集群性能产生短暂影响，建议在低峰时段进行此操作。
• 建议在执行更改之前使用 --verify 选项来检查更改计划的有效性。

通过上述方法，你可以批量修改 Kafka topic 的分区副本数，使得管理和维护 Kafka 集群变得更加高效。