【kafka】命令 数据的路径间迁移kafka-reassign-partitions.sh

已于 2023-10-18 15:27:37 修改
阅读量419 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： kafka
于 2021-01-06 21:40:21 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/112298501
版权

文章目录

在这里插入图片描述

1.概述

Controller 在初始化时，会利用 ZK 的 watch 机制注册很多不同类型的监听器，当监听的事件被触发时，Controller 就会触发相应的操作。

Controller 在初始化时，会注册多种类型的监听器，主要有以下6种：

  1. 监听 /admin/reassign_partitions 节点，用于分区副本迁移的监听；
  2. 监听 /isr_change_notification 节点，用于 Partition Isr 变动的监听，；
  3. 监听 /admin/preferred_replica_election 节点，用于需要进行 Partition 最优 leader 选举的监听；
  4. 监听 /brokers/topics 节点，用于 Topic 新建的监听；
  5. 监听 /brokers/topics/TOPIC_NAME 节点，用于 Topic Partition 扩容的监听；
  6. 监听 /admin/delete_topics 节点，用于 Topic 删除的监听；
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Kafka Topic分区手动迁移:kafka-reassign-partitions
weixin_44891322的博客
01-21 1358
应用场景： 有时候需要把topic的分区或副本到指定到某台服务器上，可用Kafka提供的kafka-reassign-partitions进行手动迁移。 1、查看当前主题的详情 kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe 可见主题为1分区2副本，leader存在ID为160的broker上。 现在要把leader存到159的broker上 2、编辑迁移配置文件 vim topicPartitionsChange.jso
【源码分析】Kafka分区重分配/迁移（kafka-reassign-partitions.sh）
gaofeng的博客
06-30 4089
/** * This callback is invoked by the reassigned partitions listener. When an admin command initiates a partition * reassignment, it creates the /admin/reassign_partitions path that triggers the zookeeper listener. * Reassigning replicas for a par
Kafka kafka-reassign-partitions.sh 命令使用
胖头鱼的专栏
03-21 7115
编辑文件：tmp，内容如下： {"topics": [{"topic": "__consumer_offsets"},{"topic": "kafka_topic"}],  "version":1 } 生成reassign结果： sh kafka-reassign-partitions.sh --generate --zookeeper localhost:21
kafka之重新分配分区副本kafka-reassign-partitions命令
热门推荐
lemon
07-28 1万+
Kafka集群中增加broker非常方便，但是Topic的Partition不会因为集群中broker的增而自动增加。可将分布在整个集群上的Partition重新分配到某些机器上，然后可以停止不需要的broker从而实现节约资源的目的。 每个Partion可以有多个Replica，即AR列表。在这个列表中第一个Replica称为Preferred Replica。创建Topica时需要确保Top...
kafka分区重分配详解
徐海兴的专栏
11-28 4033
​ 当集群中的一个节点突然宕机下线时，如果节点上的分区是单副本的，那么这些分区就变得不可用，在节点恢复前，相应的数据也就处于丢失状态；如果节点上的分区是多副本的，那么位于这个节点上的leader副本的角色会转交到集群中的其他follower副本中。总而言之，这个节点上的分区副本都已经处于功能失效状态。kafka并不会将这些失效的副本自动地迁移到集群中剩余的可用broker节点上。如果放任不管则不仅影响整个集群的均衡负载，还会影响整体服务的可用性和可靠性。 ​ 当要对集群中的一个节点进行有计划的下线操作时
使用kafka-reassign-partitions.sh重新对topic分区，ReplicationFactor由1变成3
cpj63998的博客
12-20 996
1、准备topics-to-move.json用于--topics-to-move-json-file 2、准备output.json用于--reassignment-json-file 3、 bin...
kafka-schema-registry-client-6.2.2.jar
04-25
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
jmeter.backendlistener.kafka-1.0.1.jar
08-23
jmeter后端侦听器kafka 一个JMeter插件，使您可以将测试结果发送到Kafka服务器
kafka-eagle-bin-2.1.0.tar.gz
07-05
kafka-eagle-bin-2.1.0.tar.gz 2022年7月份下载，最新版
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
08-15
KAFKA-3.1.1-1.3.1.1.p0.2-el7
kafka-clients-0.10.0.1-API文档-中英对照版.zip
04-09
对应Maven信息：groupId：org.apache.kafka，artifactId：kafka-clients，version：0.10.0.1 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构...
kafka partition分配_kafka手动重新分配partition
weixin_34803738的博客
12-30 224
1.编写要重新分配的topic的json配置文件{"topics": [{"topic":"test"}],"version":1}2.调用--generate生成迁移计划，将test扩充到所有机器上./bin/kafka-reassign-partitions.sh --zookeeper vlnx111122:2181 --topics-to-move-json-file topic.json...
Kafka节点扩容、缩容后reassign partition
高矮
09-30 660
文章目录简介kafka-reassign-partitions使用 简介 kafka节点扩容、缩容后，需要reassign partition replica， kafka-reassign-partitions使用 –generate 生成partition replica分配计划 ./kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topic.json --broker-list
kafka分区重新分配
qq_18629653的博客
09-22 1044
扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr 1.生成分配计划 新建一个json文件，内容如下：（topic为要修改的topic）这里文件取名为 topics-to-move.json { “topics”: [{ “topic”: “cross.cube.bitmap” }], “version”: 1 } 使用kafka-reassign-partitions.sh命令生成一个分配计划，下面的命令行中broker-list参数即对应BrokerID 命令
Kafka Partition重分配流程简析
LittleMagic's Blog
10-24 2419
节日快乐~ 今天是属于广大程序员的节日，祝自己快乐hhhhhh 随着业务量的急速膨胀和又一年双11的到来，我们会对现有的Kafka集群进行扩容，以应对更大的流量和业务尖峰。当然，扩容之后的新Kafka Broker默认是不会有任何Topic和Partition的，需要手动利用分区重分配命令kafka-reassign-partitions将现有的Partition/Replica平衡...
kafka扩容数据自动重分配脚本
weixin_42566359的博客
09-26 703
kafka 扩容自动化数据重分配
Kafka topic分区迁移
qq_42554735的博客
08-24 940
多分区迁移和单分区一样只是验证和–generate 命令时候输出的、json有一些区别，比单分区会多一些内容。generate模式，给定需要重新分配的Topic，自动生成reassign plan（并不执行）迁移之后 分区目录名又了-delete的标识会被删除。2、把建议的的配置转成json----https://www.sojson.com/在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件;3、转换后的json写入到另外一个文件ex.json。目标是分配到 broker 为0的节点、
kafka数据迁移
weixin_34200628的博客
07-23 381
场景：老集群将不再使用，上边的kafka集群中的数据要导入到新的集群的kafka中倒入步骤(例如按照天的topic迁移)： 因为kafka默认只保留7天的数据，所以只迁移近7天的数据 1. 首先使用kafka-topic.sh客户端列出kafka集群上所有topic 2. 取出近7天的topic名称，写入到一个txt文本中，每个topic名称一行 3. 导出：fo...
实操 | kafka如何手动异步提交offset
CREATE_17的博客
09-21 3551
点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资源”领取独家整理的学习资料！每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~kafka_2...
Kafka 常用命令
最新发布
09-23
10. kafka-reassign-partitions.sh：用于进行Kafka数据重平衡操作。 11. kafka-run-class.sh：用于执行Kafka相关的Java类。 12. kafka-server-start.sh：用于启动Kafka服务进程。 13. kafka-server-stop.sh：用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值