kafka项目经验之如何进行Kafka压力测试、如何计算Kafka分区数、如何确定Kaftka集群机器数量

孙晨c

已于 2022-12-31 14:21:22 修改

阅读量652

点赞数 1

分类专栏： kafka 文章标签：大数据 kafka hadoop 网络

于 2021-01-27 14:10:15 首次发布

本文链接：https://blog.csdn.net/dtft_/article/details/113246939

版权

文章目录

Kafka压测
- Kafka Producer（生产）压力测试
- Kafka Consumer（消费）压力测试
计算Kafka分区数
Kafka机器数量计算

Kafka压测

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈==（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 ==
使用下面两个kafka自带的脚本

kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh

Kafka Producer（生产）压力测试

进入kafka的安装目录，执行下面的命令

[sun@hadoop102 kafka]$ bin/kafka-producer-perf-test.sh  --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

孙晨c

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

kafka集群机器数目计算

huangleijay的专栏

07-15

1787

前言：如何在业务上敲定kafka的机器数目！需要遵循的前提是，单数原则，就是zookeeper和broker的节点数目最好是单数！分区分配给消费者有三个策略，默认是第一个。 RangeAssignor策略：假设n=分区数/消费者数量，m=分区数%消费者数量，那么前m个消费者每个分配n+1个分区，后面的（消费者数量-m）个消费者每个分配n个分区。@hxx 针对于单个topic分区的分配，如果一个consumer同时订阅了多个topic，那么对于多个topic而言，某个consumer可能分配

Kafka集群搭建（3台机）

05-25

网上Kafka集群搭建的教程很多了，但真正能用的不多，本文提供了详细的步骤说明，绝对可用

参与评论您还未登录，请先登录后发表或查看评论

9（11）项目经验之Kafka11

weixin_42871374的博客

04-09

107

4.5.11项目经验之Kafka压力测试 1）Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2）Kafka Producer压力测试（1）在/opt/module/...

kafka全部经验总结(待补充)

JavaCoder_juejue的博客

05-05

440

1.producer 生产消息根据消息的key来确定发送到对应topic的哪个分区，如果没有key那么则轮询均匀发送到各partition 但是无法保证有序性 2.同一consumer group中的各消费者只能消费同一个topic中某个partition中的数据而不会出现同一同一consumer group中的consumerA 与 consumerB 同时消费 topic1 中的 partition1中的数据这样会造成重复消费 3.消费的最大并行度为 partition数量

你在项目中是如何使用kafka的？

weixin_45701550的博客

05-28

1239

较少的分区数可能会限制并行性能，而较多的分区数可能会增加系统管理的复杂性。较少的分区数可能会导致消息处理能力不足，而较多的分区数则会增加系统的管理复杂性。通过合理设置分区数、优化生产者端性能和进行消费者组管理，可以充分发挥Kafka的优势，并构建可靠的消息传递系统。另一方面，如果订单数据的有序性对业务非常重要，我们可以选择与消费者数量相等的分区数，例如设置为5个分区。需要注意的是，分区数的调整可能涉及到Kafka Topic的重新分配和数据迁移，因此在生产环境中需要谨慎操作，并充分考虑系统管理的复杂性。

Kafka的集群部署实践及运维相关

Docker的专栏

11-08

260

上一篇 Kafka 的文章《大白话带你认识Kafka》中我们应该已经了解了一些关于基础角色和集群架构相关的问题，这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维...

kafka开发经验之kafka压力测试，机器数量计算及分区数量计算

qq_39034845的博客

06-26

719

kafka开发经验之kafka压力测试，机器数量计算及分区数量计算一：kafka压力测试 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 1）Kafka Producer压力测试在kafka的安装目录下的bin目录下有如下两个文件。我们来测试一下 bin/kafka-producer-per

Kafka集群调优实战+分布式集群搭建,分布式集群搭建与调优实战，Kafka专家之路！课程内容全程实战，没有拖泥带水

最新发布

08-24

此外，还涉及Kafka集群的容错机制、分区副本分配与动态平衡、性能基准测试等核心知识点，帮助读者深入理解Kafka的运维与调优。实战部分不仅限于基础应用，还扩展到集成数据收集框架（如Flume、Camel）、实时计算框架...

向kafka插入数据测试

07-12

这涉及到多个知识点，包括Kafka的基本概念、生产者API、数据模型、以及如何进行测试。 1. **Kafka基本概念**：Kafka是一个高吞吐量、低延迟的消息队列系统，它主要用于构建实时数据管道和流应用。数据以主题（Topic...

[Kafka基础]--怎样为Kafka集群选择合适的主题和分区数量？

欢迎来到我的博客，一起探索代码里的世界！

05-03

6014

感谢英文原文：https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/这是许多Kafka用户提出的常见问题。这篇文章的目的是解释几个重要的决定因素，并提供一些简单的公式。更多的分区提供更高的吞吐量首先要理解的是，主题分区是Kafka中并行性的单位。在生产者和代理...

java qps 怎么计算_计算QPS - sarah471433 - 博客园

weixin_42713608的博客

02-16

378

文件nglog.txt文件如下时间点返回的状态吗用时(秒)13:14:15 200 1013:14:15 500 3013:14:15 200 2013:14:15 200 1013:14:15 200 1013:14:16 200 3013:14:16 500 3613:14:16 200 30013:14:16 500 30。。。。求 QPSJAVA版搓代码如下(仅限功能实现，没有考虑性...

kafka分区数如何设置_数据不撒谎，Flink-Kafka性能压测全记录

weixin_39556702的博客

11-20

1376

本文作者来自本号的粉丝：林夕_Yume，作者微信：wxid_nvd5wwng4v2i22欢迎大家关注他的简书：https://www.jianshu.com/u/3fa2b243f30d大家有同样需求的同学赶紧加他好友探讨~1.压测方案1.1 压测目的本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据不同量级...

Kafka 性能测试脚本详解

六开箱

03-25

1018

Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下： - 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh - 消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.sh 支持测试的性能指标包括：吞吐量（throughput）、最大时延（max-latency）、平均时延（avg-latency）等。

Kafka：生产者压测和消费者压测

程序员无羡的博客

04-06

1697

Kafka：生产者压测和消费者压测

压测实操--kafka-consumer压测方案

07-24

590

使用kafka自带的kafka-consumer-perf-test.sh脚本对集群消费情况进行压测，根据业务情况设置要测试的messager条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。

胖胖的博客

10-31

893

kafka官方自带压力测试脚本:kafka-consumer-pref-test.sh kafka-preducer-pref-test.sh。假如Producer的吞吐量=20m/s，Consumer的吞吐量=50m/s。kafka的机器数量（经验公式）=2*（峰值速度m/s*副本数/100）+1。比如压力测试写入（生产）速度为10m/s每台，峰值为50m/s，副本数为2。每天的数据量100G*2个副本*3天/70%=600G/0.7=900G。kafka节点数量=2*（50*2/100）+1=3台。

kafka数据写入速度优化【项目经验总结】

Dmaple的博客

11-13

5296

先说结论：调整集群参数 # 每当producer写入10000条消息时，刷数据到磁盘 log.flush.interval.messages=10000 # 每间隔1秒钟时间，刷数据到磁盘 log.flush.interval.ms=1000 好久没有更新了，沣哥给介绍了个对象，也不知道能不能成，看的看不上咱0.0 回归主题，前几天领导给我派了个活，说客户的kafka消费速度有问题，派我出差去排查一下，我到了现场后先梳理了一下数据链路，一个服务(二进制数据流)->kafkatopic1-&

Kafka压力测试（官方自带）

hyunbar的博客

06-27

5092

1、Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2、Kafka Producer压力测试在.../kafka/bin目录下 [duoduo@ha...

kafka java 性能测试_Kafka笔记整理（三）：消费形式验证与性能测试

weixin_35926485的博客

02-13

505

Kafka消费形式验证前面的《Kafka笔记整理(一)》中有提到消费者的消费形式，说明如下：1、每个consumer属于一个consumer group，可以指定组id。group.id2、消费形式：组内：组内的消费者消费同一份数据；同时只能有一个consumer消费一个Topic中的1个partition；一个consumer可以消费多个partitions中的消息。所以，对于一个topic,同...

Kafka集群性能测试：生产者与消费者实证分析

"这篇博客介绍了如何进行Kafka的性能测试，包括生产者和消费者的测试，目的是优化Kafka集群的性能和稳定性。测试环境是三台物理机组成的集群，使用了Kafka自带的测试工具kafka-producer-perf-test.sh和kafka-...