【Kafka】kafka 创建 topic的时候 Replication factor 参数理解

403 篇文章 639 订阅 ¥99.90 ¥299.90
本文详细介绍了Kafka中创建topic时的重要参数Partition数目和Replication Factor的理解与调整准则。Partition数目影响系统性能和吞吐,一般建议配置为broker数量的2倍(小集群)或相等(大集群)。Replication Factor决定数据冗余,建议至少设为2,以保证系统稳定。过高则可能导致性能下降和磁盘空间占用增加。集群管理中应注意避免过多的partitions,避免超过20,000个总partitions,以及不要将RF设为1。" 121802929,11179357,SQLite数据库实战解析,"['sqlite', 'database', '数据存储']
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

1.1 Partitions与Replication Factor调整准则

Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数,这两个参数的取值会直接影响到系统的性能与稳定性。

尽量在第一次创建一个topic时就指定这两个参数,因为

如果Partition 数目在之后再次做调整,则会打乱key的顺序保证(同样的key会分布到不同的partition上)
如果Replication Factor在之后再次增加,则会给集群带来更大的压力,可能会导致性能下降

1.1.1. Partition 数目

一般来说,每个partition 能处理的吞吐为几MB/s(仍需要基于根据本地环境测试后获取准确指标),增加更多的partitions意味着:

  1. 更高的并行度与吞吐
  2. 可以扩展更多的(同一个consumer group中的)consumers<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值