【kafka topic 的partition不够怎么办，直接用命令方式修改Kafka还太麻烦】

已于 2024-04-23 14:24:06 修改
阅读量178 收藏 1
点赞数 4
分类专栏： kafka topic 文章标签： kafka
于 2024-04-23 14:21:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moyinhang/article/details/138123527
版权

kafka topic 的partition不够怎么办，直接用命令方式修改Kafka还太麻烦

可以通过可视化工具kafka tool来修改partition，大体步骤为先删除topic后创建topic，在创建时就指定partition的数量
前提：假设需要将A_TOPIC的partition由1改成2

  1. 首先先下载一个kafka tool工具，具体下载地址请自行查找，工具下载完后配置一下kafka连接

  2. 双击cluster，打开Topics文件夹，里面展示的是所有的topic

  3. 找到A_TOPIC，右键该topic，选择delete，删除前确保使用该topic的组件已经停掉
    在这里插入图片描述
    删掉后topic右键刷新，此时已看不到A_TOPIC
    在这里插入图片描述

  4. topic右键create topic，创建新topic
    在这里插入图片描述

  5. 弹出框name填写topic名字A_TOPIC，partition count 填写2，完成后点击右下角add按钮
    在这里插入图片描述

  6. 刷新后查看此时A_TOPIC的partitions已经变成2个了
    在这里插入图片描述

辽西迪特里斯
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Kafka在线动态调整topic分区partition
小毛老头 MaoLT.Xiao
11-28 3417
我们在创建kafka topic的时候有时候会对topic的分区进行调整，调整topic分区可以用kafka自带的脚本kafka-topics.sh kafka-topics.sh可以创建 删除 修改分区的一些属性 # ./kafka-topics.sh [2019-11-28 16:07:05,424] INFO Registered kafka:type=kafka.Log4jContr...
kafka 修改partition，删除topic，查询offset
dianxiang0791的博客
01-09 1297
修改分区个数： ./kafka-topics.sh --zookeeper 127.0.0.1:2181/kafka/<id_of_kafka> --alter --partitions 10 --topic test_topic 上面命令将test_topic对应的分区数目调整为10个，127.0.0.1是zookeeper的地址，2181是zookeeper端...
Kafka topic增加partitions
微步的博客
10-23 6848
把topic分区数从1增加到3。   执行增加命令：kafka-topics --alter --topic zhuzh009 --zookeeper cdh-002/kafka --partitions 3 注意该命令分区数partitions只能增加，不能减少   通过kafka-topics --describe --zookeeper cdh-002/kafka查看可知，新增...
Kafka动态调整topic分区partition
热门推荐
russle的专栏
10-13 6万+
我们在使用kafka时，初期创建时所指定topic属性需要修改，如何动态修改kafka属性？kafka提供了命令行工具—kafka-topics.sh. kafka-topics.sh工具介绍 kafka-topics.sh工具也是我们用来创建topic、查看topic详情的工具。 直接运行kafka-topics.sh可以产出它是用来创建、删除、查看以及更新topic root@ubuntu......
Kafka修改分区、副本数量
学习笔记
09-13 3741
文章目录一、概述二、修改分区三、修改副本1.指定Topic2.生成分配计划3.修改分配计划4.执行分配计划5.查看分配进度6.查看新的副本 一、概述 无需重启服务 二、修改分区 方式一：直接用软件重新分区 Kafka Manager： 方式二：命令行分区 –zookeeper已经过时，使用–bootstrap-server # 查看分区 bin/kafka-topics.sh --describe --bootstrap-server 172.25.18.45:9092,172.25.18.
kafka虞兮叹三（消息有序消费）
沐雨金鳞
09-17 571
两种方案： 方案一，kafka topic 只设置一个partition分区 方案二，producer将消息发送到指定partition分区 解析： 方案一：kafka默认保证同一个partition分区内的消息是有序的，则可以设置topic只使用一个分区，这样消息就是全局有序，缺点是只能被consumer group里的一个消费者消费，降低了性能，不适用高并发的情况 方案二：既然kafka默认保证同一个partition分区内的消息是有序的，则producer在发送消息时可以指定需要保证...
如何为一个kafka集群选择topics/partitions的数量？
kwengelie的博客
04-14 1万+
How to choose the number oftopics/partitions in a Kafka cluster? 如何为一个kafka集群选择topics/partitions的数量？   This is a common question asked by many Kafka users.The goal of this post is to explain a few
kafka重新分配partition
06-28 1万+
原文：http://wzktravel.github.io/2015/12/31/kafka-reassign/ 今天kafka测试环境中机器磁盘告警，占用率超过了80%，原来是某一个topic的partition为1，只往一台机器上写数据，造成kafka集群空间使用不均。 下面主要使用kafka-topics.sh和kafka-reassign-partitions.sh来解决问题。
kafka生产者和消费者的分区分配策略
wjt199866的博客
09-03 2174
前言 我们都知道在kafka中producer向topic推送消息，而consumer是主动去拉取消息。而在topic中存在着分区和分片，那么kafka生产者和消费者应该采用什么样的分区分配策略呢 目录producer的分区分配策略消费者的分区分配策略合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富.
第5.1.1章 kafka重新分配partition
warrah 南极狼
06-21 7403
kafka是一个分布式（distributed）、分区（partioned）、复制（replicated）的提交日志服务。 kafka对消息保存时根据topic进行归类，发送消息为producer，消息接受者为consumer，在kafka集群中，kafka的实例成为broker（中间/代理人） kafka集群用于处理来自各种不同来源的所有活动数据，同时为在线和离线数据使用者提供了一个单个数据...
Apache Kafka API AdminClient 修改Topic的Partition
Smallc0de的博客
02-03 1672
前言 好久没有更新AdminClient的博客，主要是一直在摸索怎么用的，官网写的太简略，只能一边研究官网，一边研究源码注释。而且KafkaAPI更新速度飞一样，版本兼容也是个问题，刚刚知道怎么用的，版本过时了又得看新的。而且有些功能API没有提供，就只能去钻研Scala源码，好在和Java差不了很多，虽然不会写，但是勉勉强强能读懂，对于笔者正在开发的项目来说真是崩溃了。所以等笔者把这些内容整理整理，让大家操作Kafka更加顺手。下面就是开始博客正文了，更多内容请点击【Apache Kafka API Ad
kafka 修改分区_4. kafka调整分区
weixin_39808893的博客
12-19 150
调整分区./bin/kafka-topics.sh --topic MCR_LOG_TEST --describe --zookeeper localhost:2181./bin/kafka-topics.sh --partitions 3 --replication-factor 2 --alter --topic MCR_LOG_TEST --zookeeper localhost:2181迁...
kafka如何扩容服务器、重新分区Partition
运维仙人
05-05 825
在新的物理机上安装kafka程序，修改config/server.properties文件里的broker.id必须在集群中唯一，修改其他必要的配置项，其中zookeeper.connect配置项，写上kafka集群现在使用的zookeeper集群的地址。但是新加入的机器只能对新产生的topic起作用，对已有的topic在没有做处理前，是不会承担任何任务的，所以不会分担集群的压力。将topic.json里的topic迁移到broker-list列表里列的broker上，会得到一个执行计划。
kafka如何扩容分区Partition、并重新分区
a13568hki的博客
04-25 1万+
1.扩容 在新的物理机上安装kafka程序，修改config/server.properties文件里的broker.id必须在集群中唯一，修改其他必要的配置项，其中zookeeper.connect配置项，写上kafka集群现在使用的zookeeper集群的地址。 然后启动kafka就可以加入到集群中了。 但是新加入的机器只能对新产生的topic起作用，对已有的topic在没有做处理前，是不会承担任何任务的，所以不会分担集群的压力。 2.重新分区Partition 假设有一个名为test的topic，只有
Kafka中的Partition详解与示例代码
最新发布
晓晓的天空
12-05 2593
本文详细介绍了Kafka中的Partition概念，从创建、配置、内部工作原理到实际应用示例和性能调优等多个方面进行了深入的讨论。希望这些详细的示例代码和解释能够帮助大家更全面地理解和应用Kafka中的Partition。在实际应用中，根据业务需求和系统规模，可以灵活配置Partition以达到最佳性能和可靠性。
kafka的Partition自定义分区策略
weixin_41641717的博客
06-27 838
自定义的Partitioner类需要实现org.apache.kafka.clients.producer.Partitioner接口，并且实现其中的partition()方法来指定消息应该被分配到哪个Partition上。在Java中，使用Kafka中的Partition分配策略可以通过创建一个自定义的Partitioner类并实现相应的接口来实现。在上面的例子中，partition()方法将消息的Key转换成哈希值，再根据哈希值对Partition数取模，获得应该分配到的Partition编号。
kafka生产者自定义partition分区规则
奇点
11-30 2764
在使用Kafka的时候，我们经常需要在生产者自定义一下获取partition分区的规则。下面是简单的自定义规则。 在进行自定义的时候，我们可以先看看默认的分区规则 这个类是DefaultPartitioner，实现了Partitioner接口。 这里我们需要定义修改的是partition方法 if (keyBytes == null) { return stickyPartitionCache.partition(topic, cluster);
Kafka：合理设置分区数
程序员无羡的博客
04-06 3133
Kafka：合理设置分区数
kafka topic partition
03-16
Kafka主题分区是Kafka消息系统中的一个重要概念。它将主题分成多个分区，每个分区都是一个有序的、不可变的消息序列。...分区还允许Kafka在多个消费者之间并行处理消息，从而提高吞吐量和可伸缩性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值