Kafka默认topic最大长度(通过测试试出来的)

1 参考官网描述信息

Each sharded partition log is placed into its own folder under the Kafka log directory. The name of such folders consists of the topic name, appended by a dash (-) and the partition id. Since a typical folder name can not be over 255 characters long, there will be a limitation on the length of topic names. We assume the number of partitions will not ever be above 100,000. Therefore, topic names cannot be longer than 249 characters. This leaves just enough room in the folder name for a dash and a potentially 5 digit long partition id.

每个分片的分区日志被放置到Kafka日志目录下自己的文件夹中。这些文件夹的名称由主题名(后面加一个破折号(-))和分区id组成。因为一个典型的文件夹名称不能超过255个字符,所以主题名称的长度会有限制。我们假设分区的数量永远不会超过100,000。因此,主题名称的长度不能超过249个字符。这就在文件夹名中留下了足够的空间,可以使用破折号和一个可能的5位长的分区id。

2 遇到问题

在这里插入图片描述
经过从10万到100之间的测试,发现最大支持250,超过则报错

3 消息限制大小 默认1M,可修改

在这里插入图片描述
参考:https://kafka.apache.org/documentation/#producerconfigs

修改步骤,下图为截图:
参考:https://my.oschina.net/objcoding/blog/3124509
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于Kafka的性能测试,您可以考虑以下几个方面: 1. 压力测试:通过模拟大量并发请求,测试Kafka在高负载情况下的性能表现。您可以使用工具如Apache JMeter、Kafka Load Testing Tool等来进行压力测试。 2. 吞吐量测试测试Kafka在单位时间内能够处理的消息数量。可以通过发送大量消息并记录处理时间来计算吞吐量。同时,可以调整Kafka的配置参数,如分区数量、复制因子等,来观察吞吐量的变化。 3. 延迟测试测试消息从生产者发送到消费者接收的延迟时间。您可以在消息发送和接收的代码中插入时间戳,并计算两者之间的差值来得到延迟时间。可以通过调整Kafka的配置参数、增加消费者数量等方式来观察延迟的变化。 4. 可用性测试测试Kafka在出现故障时的可用性。可以模拟节点宕机、网络断开等情况,观察Kafka集群的自动故障转移和恢复能力。 在进行性能测试时,建议注意以下几点: - 确保测试环境与生产环境尽可能相似,包括硬件配置、网络环境等。 - 关注测试结果中的指标,如吞吐量、延迟、丢失率等。 - 注意监控Kafka集群的各项指标,如CPU、内存、网络等的使用情况。 - 尝试不同的场景和配置参数,以获得更全面的性能测试结果。 请注意,以上只是一些常见的性能测试方法,具体测试方案需要根据您的需求和环境来进行调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值