Kafka的Topic分区数如何合理设置？

于 2025-04-30 15:06:37 发布
阅读量496 收藏 23
点赞数 20
分类专栏： 中间件 kafka 文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45762066/article/details/147618721
版权

一、分区数设置原则

1. 并发能力基准

分区数决定最大消费者并行度，建议设置为消费者组内消费者数量的整数倍
例如：消费者组有4个实例 → 分区数设为4/8/12等
这里定义的目的是为了让消费者能均匀的分配到分区，避免打破负载均衡，触发rebalance。

2. 吞吐量指标

单个分区写入速度建议不超过10MB/s
消息TPS超过10万时，可按公式计算：
分区数 = 目标吞吐量 / 单个分区吞吐量
这里回答不一定准确，因为一般情况下需要考虑部署kafka机器的性能，需要压测出一个稳定数据，通过稳定数据去计算需要的分区数大小，比如TPS超过1万，每条消息10k，就意味着每秒100万k消息，100万k/单个分区稳定数据（比如10万k），这个时候就需要10个分区，然后搭配消费者负载均衡，设置12个分区。

3. 扩展性预留

建议初始设置时预留20-30%的扩展空间
最大分区数不宜超过200（避免元数据管理开销过大）

二、副本数设置原则

1. 可靠性基线

生产环境必须设置≥3副本（ISR最小副本数建议2）
保证可靠性，部分broker宕机可能导致数据丢失，使用ISR机制有备份情况。

2. 集群规模对应

推荐设置规则：

  • 开发环境：1-2副本
  • 生产环境：3副本（集群≥5节点时）
  • 金融级场景：5副本

3. 写入性能权衡

副本数每增加1，写入吞吐量下降约10%
高吞吐场景建议搭配acks=1或0配置使用
这里建议使用acks=1，至少保证一个副本有同步，除非是日志消息之类的，可以考虑ack=0，不然容灾能力会很差。

三、特殊场景优化

# 需要严格顺序的场景
num.partitions=1
- 将主题分区数强制设置为1，所有消息按写入顺序严格排列
- 牺牲横向扩展能力，保证全局消息顺序一致性
- 适用于金融交易、订单状态变更等强顺序需求场景
unclean.leader.election.enable=false
- 禁止非ISR副本（低于高水位线，也就是未完全同步Leader）参与Leader选举（默认值）
- 当所有ISR副本失效时，宁可停止服务也不选举不同步副本
- 避免数据丢失但会降低可用性，需配合 min.insync.replicas 使用
保序

# 高可用要求场景
default.replication.factor=3
- 设置默认副本数为3（需集群至少有3个Broker）
- 每个分区会在不同Broker上保存3个副本
- 最多可容忍2个Broker同时故障而不丢失数据
min.insync.replicas=2
指定‌对于每个分区，至少有多少个副本需要与领导者副本（Leader Replica）保持同步，才能认为该分区是可用的‌。
- 定义最小同步副本数要求（需 ≤ replication.factor）
- 生产者设置 acks=all 时，需要至少2个副本确认写入才算成功
- 在数据安全性与写入延迟之间取得平衡（1<min<replication.factor

四、配置验证方法

# 分区性能压测（使用kafka-producer-perf-test）
bin/kafka-producer-perf-test.sh --topic test-topic \
--num-records 1000000 --record-size 1000 \
--throughput -1 --producer-props bootstrap.servers=localhost:9092
  1. bin/kafka-producer-perf-test.sh Kafka 自带的性能测试工具脚本路径，用于模拟生产者发送消息
  2. –topic test-topic 指定要测试的 Kafka 主题名称（需要提前创建好）
  3. –num-records 1000000 设置总共要发送 1,000,000 条测试记录
  4. –record-size 1000 每条记录的大小设置为 1000 字节（约 1KB）
  5. –throughput -1 设置吞吐量为无限制（-1 表示以最大速度发送），若设为正数则表示每秒发送的记录数
  6. –producer-props bootstrap.servers=localhost:9092 指定生产者配置：
  • bootstrap.servers ：Kafka 集群地址（本地单节点）
  • 可追加其他生产者参数如 acks=1 , compression.type=snappy 等

建议通过监控以下指标持续优化：

一、检测分区 Leader 的 ISR 变化频率

# 实时查看 ISR 变化（需开启 JMX 监控）
bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=ReplicaManager,name=IsrShrinksPerSec
bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=ReplicaManager,name=IsrExpandsPerSec

# 查看历史 ISR 变更记录
bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic test-topic --describe | grep "Isr"
IsrShrinksPerSec
  • 含义：每秒ISR（In-Sync Replicas）集合收缩的次数
  • 表示副本从ISR中被移除的速率，可能由以下原因触发：
    • 副本同步延迟超过 replica.lag.time.max.ms （默认30秒）
    • 磁盘故障或网络问题导致副本离线
IsrExpandsPerSec
  • 含义：每秒ISR集合扩展的次数
  • 表示副本重新加入ISR的速率，常见恢复场景：
    • 副本追赶上Leader的消息进度
    • 网络恢复后副本重新上线
安全建议（生产环境必做）
# 启用 SSL 和认证的配置示例
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.port=9999 \
-Dcom.sun.management.jmxremote.ssl=true \
-Dcom.sun.management.jmxremote.registry.ssl=true \
-Dcom.sun.management.jmxremote.authenticate=true \
-Dcom.sun.management.jmxremote.password.file=/etc/kafka/jmx.password"
如何开启关闭JMX
开启JMX监控脚本 (enable_jmx.sh)
#!/bin/bash
# 设置JMX端口和认证参数
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"

# 设置JMX远程访问IP限制（默认本地）
export JMX_HOSTNAME="-Djava.rmi.server.hostname=localhost"

# 启动Kafka服务（后台运行）
nohup /path/to/kafka/bin/kafka-server-start.sh /path/to/kafka/config/server.properties > /dev/null 2>&1 &

逐行解释：

  1. #!/bin/bash：指定使用bash解释器执行脚本
  2. export KAFKA_JMX_OPTS...：设置JMX参数
    • -Dcom.sun.management.jmxremote：启用JMX远程监控
    • -Dcom.sun.management.jmxremote.port=9999：指定JMX端口
    • authenticate=false：禁用认证（生产环境建议开启）
    • ssl=false：禁用SSL加密（生产环境建议开启）
  3. export JMX_HOSTNAME...：设置JMX服务绑定IP
  4. nohup ... &：后台运行Kafka服务并忽略挂起信号
关闭JMX监控脚本 (disable_jmx.sh)
#!/bin/bash
# 查找Kafka进程ID
PID=$(jps -l | grep kafka.Kafka | awk '{print $1}')

# 停止Kafka服务
if [ -n "$PID" ]; then
    kill -9 $PID
    echo "Kafka stopped successfully"
else
    echo "Kafka is not running"
fi

# 清除JMX环境变量
unset KAFKA_JMX_OPTS
unset JMX_HOSTNAME

逐行解释：

  1. PID=$(jps -l...)：通过jps命令查找Kafka进程ID
  2. if [ -n "$PID" ]...：判断进程是否存在
  3. kill -9 $PID：强制终止Kafka进程
  4. unset...：清除JMX相关环境变量

注意事项：

  1. 端口号9999可根据实际情况修改，需确保防火墙开放
  2. 生产环境建议启用认证和SSL加密（需配置相关证书）
  3. 脚本中的kafka路径需替换为实际安装路径
  4. JMX关闭本质是停止Kafka服务，重启时不带JMX参数即关闭监控

二、检测生产/消费 p99 延迟

# 生产者延迟监控（需 JMX）
bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.producer:type=producer-metrics,client-id=*

# 消费者延迟监控
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group [消费者组名] --describe | awk '{print $1,$2,$6}'

三、检测分区消息堆积量

# 查看所有消费者组堆积量
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list | xargs -I {} bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group {} --describe

# 查看指定分区堆积量
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test-topic --time -1
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test-topic --time -2

监控建议：

  1. 建议将上述命令集成到 Prometheus + Grafana 监控体系
  2. 关键指标告警阈值设置：
    • ISR 变更频率 > 5次/分钟 触发告警
    • p99 延迟 > 500ms 触发告警
    • 消息堆积量持续增长超过 10万条 触发告警
  3. 推荐使用 Kafka Eagle 可视化工具进行实时监控
Kafka topic分区设置不合理导致磁盘写入不均衡
激流丶的博客
04-24 5692
背景： 我给kafka准备了6块盘，但是每次都是其中两块磁盘满了，导致kafka挂掉，本着一劳永逸的原则，今天一定要查到原因在哪里？ 我得kafka配置，我有3个主机broker01,broker02,broker03，存储配置如下： log.dirs=/chunk04/kafka/logs,/chunk05/kafka/logs,/chunk06/kafka/logs,/chunk0...
kafka修改Topic副本数和分区数
baiyinhai00001的博客
09-09 3503
kafka日常运维
Kafka：合理设置分区数
程序员无羡的博客
04-06 3585
Kafka：合理设置分区数
修改Kafka topic分区副本数
shumoyin的博客
09-29 5317
修改Kafka topic分区副本数1. 创建topic2. 查询topic3. 修改topic副本数为2 1. 创建topic ./kafka-topics.sh --zookeeper=localhost:2181 --create --replication-factor 1 --partitions 3 --topic TEST 2. 查询topic ./kafka-topics.sh --zookeeper=localhost:2181 --describe --topic TEST Top
Kafka：增加Topic的分区数
kaven
02-12 3571
测试环境参考下面这篇博客： Kafka：搭建Kafka集群 pom.xml： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/
09-kafka分区数的设置
huaxing_ba的博客
05-28 4211
题目：kafka分区数的设置 答案： （1）创建一个只有1个分区的topic （2）测试这个topic的Producer吞吐量和consumer吞吐量 （3）假设它们的值分别是Tp和Tc，单位可以是MB/s （4）然后假设总的目标吞吐量是Tt，那么分区数=Tt/min（Tp，Tc） 例如：producer吞吐量=20m/s；consumer吞吐量=50m/s，期望吞吐量100m/s； 分区数=100/20=5分区 分区数一般设置为：3-10个 分区数不是越多越好，也不是越少越好，需要搭建完集群，进行压测，
kafka 修改分区_kafka修改Topic副本数和分区数
weixin_42132359的博客
12-29 3594
一 .修改Kafka Topic副本数1.bin/kafka-topics.sh --zookeeper 172.18.163.203:2181,172.18.163.204:2181,172.18.163.205:2181 --create --partitions 5 --replication-factor 3 --topic test01##新建测试topic test012.bin/ka...
Kafka：修改Topic主题的分区数
程序员无羡的博客
03-21 965
Kafka：修改Topic主题的分区数
kafka分区策略详解
技术人集结地
04-05 1476
Kafka 的分区策略决定了消息在生产者端如何分配到不同分区，以及在消费者端如何动态分配分区以实现负载均衡
kafka默认分区数设置
热门推荐
海若_matrix的博客
05-16 1万+
每次创建topic都要修改分区数很麻烦，其实集群配置固定的情况下，完全可以根据集群CPU核数，设置最优的分区数。 例如我的集群部署在虚拟机里，我的笔记本12核cpu,就可以设置默认分区12，以后每次创建topic都是12个分区。 ...
kafka_topic创建、分区、删除管理
11-23
在创建Topic时，可以通过`--partitions`参数设置分区数。 ** Topic的副本** 副本（Replica）用于提供容错性，确保即使某个Broker故障，数据仍然可访问。每个分区都有一个主副本和零个或多个从副本。如果主副本失败...
批量修改Kafka topic的分区副本数代码
Min_nna的博客
04-18 641
为了批量修改 Kafka topic 的分区副本数，可以编写一个脚本来自动生成上述 JSON 格式的配置文件，然后使用 Kafka 提供的 kafka-reassign-partitions.sh 脚本应用这些更改。
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
zhengzaifeidelushang的博客
08-01 1787
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
Oracle 19c 使用OGG同步数据到kafka端报错分析处理
最新发布
听雪楼主
04-30 279
通过排查参数配置，源端已配置目录名，至此怀疑是目录名配置错误，通过和客户确认，源端环境为多租户数据库，租户数据库名为：Uat。查看源端、目标端同步进程都是running状态。*.*不能是通配符，因为没有为目标表*指定目录名或非通配符目录名。今天收到一个客户反馈，新创建的ogg同步出现了问题，进程启动后无法进行同步。联系业务在源端进行数据库插入操作，目标端（kafka端）已成功获取同步数据。修改完后，启动源、目标端进程，可以正常启动，日志无报错信息。至此，整改故障分析处理结束。报错提示源端没有目录名。
Kafka 配置参数性能调优建议
保持学习
04-28 1115
增大该值可以减少磁盘 I/O 次数，因为每次刷盘会将更多的消息一次性写入磁盘，从而提高磁盘的写入效率。调整过大，也会带来一定的延迟，因为生产者需要等待更多的消息填满批次，如果批次一直无法填满，消息就会在生产者端停留更长时间，直到达到其他触发发送的条件。在高并发场景下，大量的生产者和消费者会同时向 Broker 发送网络请求，如果处理网络请求的线程数不足，会导致请求处理不及时，影响系统的性能。但需要注意的是，该值需要根据磁盘的性能进行调整，如果磁盘的性能较差，过多的线程可能会导致磁盘竞争加剧，反而降低性能。
centos安装部署配置kafka
weixin_43748495的博客
04-29 492
4.修改配置，注意：此配置中有一个默认的zookeeper的配置。3.查看版本（验证是否已解压）5.有三个配置要调整。
如何实现Kafka的Exactly-Once语义？
weixin_45762066的博客
04-28 959
这里模式有个问题，会导致性能下降，并且即使使用了该种模式，生产者和消费者该做的重试和幂等都需要做，只是重复数据会下降（比如业务处理成功了，但是提交offset失败了，会导致broker重发，这种场景严格意义来说不算成功，但是真实场景下网络是有波动的，可能会导致失败）。对于金融级业务，推荐使用生产者事务+数据库事务的混合方案。对于日志处理等场景，可采用消费者手动提交偏移量+处理结果去重的简化方案。在实现Exactly-Once之前，需要了解kafka三语义以及2PC实现。：协调器持久化事务元数据到。
kafka消息的顺序性如何保持一致的
xiao_xiao_w的博客
04-29 265
最近面试总是被问这个问题，然后总感觉答得不好就写博客总结一下，可以先看总结
Kafka的Rebalance机制可能引发什么问题？如何优化？怎么减少不必要的Rebalance
weixin_45762066的博客
04-29 871
Rebalance机制的核心目的是确保每个消费者都能处理适当数量的分区，以实现负载均衡和高可用性。一般是消费者组发生变化的时候，比如订阅主题，消费者数量等等发生变化，可能会导致rebalance，rebalance会导致消费者组短时间暂停消费，严重可能持续到分钟级别，所以应当减少不必要的Rebalance。
kafka修改topic分区数
06-09
要修改Kafka中Topic的分区数，可以按照以下步骤进行操作： 1. 在Kafka的bin目录下使用命令创建一个新的Topic，指定新的分区数。例如，以下命令将Topic "test_topic" 的分区数设置为3： ``` ./kafka-topics.sh --zookeeper localhost:2181 --alter --topic test_topic --partitions 3 ``` 2. 等待一段时间，让Kafka重新分配分区。这个过程可能需要一些时间，取决于您的Kafka配置和数据量。 3. 使用以下命令验证分区的数量是否已更新： ``` ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test_topic ``` 输出应该包含新的分区数。 注意：增加分区数可能会导致数据重复或丢失，因此在进行此操作之前请小心谨慎。同时，不要将分区数减少到比当前已分配的分区数少。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值