kafka项目经验之如何进行Kafka压力测试、如何计算Kafka分区数、如何确定Kaftka集群机器数量

孙晨c

已于 2022-12-31 14:21:22 修改

阅读量626

点赞数

分类专栏： kafka 文章标签：大数据 kafka hadoop 网络

于 2021-01-27 14:10:15 首次发布

本文链接：https://blog.csdn.net/DTFT_/article/details/113246939

版权

文章目录

Kafka压测
- Kafka Producer（生产）压力测试
- Kafka Consumer（消费）压力测试
计算Kafka分区数
Kafka机器数量计算

Kafka压测

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈==（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 ==
使用下面两个kafka自带的脚本

kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh

Kafka Producer（生产）压力测试

进入kafka的安装目录，执行下面的命令

[sun@hadoop102 kafka]$ bin/kafka-producer-perf-test.sh  --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

孙晨c

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Kafka集群搭建（3台机）

05-25

网上Kafka集群搭建的教程很多了，但真正能用的不多，本文提供了详细的步骤说明，绝对可用

9（11）项目经验之Kafka11

weixin_42871374的博客

04-09

100

4.5.11项目经验之Kafka压力测试 1）Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2）Kafka Producer压力测试（1）在/opt/module/...

参与评论您还未登录，请先登录后发表或查看评论

压测实操--kafka-consumer压测方案

07-24

508

使用kafka自带的kafka-consumer-perf-test.sh脚本对集群消费情况进行压测，根据业务情况设置要测试的messager条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。

kafka全部经验总结(待补充)

JavaCoder_juejue的博客

05-05

423

1.producer 生产消息根据消息的key来确定发送到对应topic的哪个分区，如果没有key那么则轮询均匀发送到各partition 但是无法保证有序性 2.同一consumer group中的各消费者只能消费同一个topic中某个partition中的数据而不会出现同一同一consumer group中的consumerA 与 consumerB 同时消费 topic1 中的 partition1中的数据这样会造成重复消费 3.消费的最大并行度为 partition数量

你在项目中是如何使用kafka的？

weixin_45701550的博客

05-28

1214

较少的分区数可能会限制并行性能，而较多的分区数可能会增加系统管理的复杂性。较少的分区数可能会导致消息处理能力不足，而较多的分区数则会增加系统的管理复杂性。通过合理设置分区数、优化生产者端性能和进行消费者组管理，可以充分发挥Kafka的优势，并构建可靠的消息传递系统。另一方面，如果订单数据的有序性对业务非常重要，我们可以选择与消费者数量相等的分区数，例如设置为5个分区。需要注意的是，分区数的调整可能涉及到Kafka Topic的重新分配和数据迁移，因此在生产环境中需要谨慎操作，并充分考虑系统管理的复杂性。

Kafka的集群部署实践及运维相关

Docker的专栏

11-08

248

上一篇 Kafka 的文章《大白话带你认识Kafka》中我们应该已经了解了一些关于基础角色和集群架构相关的问题，这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维...

Kafka集群调优实战+分布式集群搭建,分布式集群搭建与调优实战，Kafka专家之路！课程内容全程实战，没有拖泥带水

最新发布

08-24

此外，还涉及Kafka集群的容错机制、分区副本分配与动态平衡、性能基准测试等核心知识点，帮助读者深入理解Kafka的运维与调优。实战部分不仅限于基础应用，还扩展到集成数据收集框架（如Flume、Camel）、实时计算框架...

向kafka插入数据测试

07-12

这涉及到多个知识点，包括Kafka的基本概念、生产者API、数据模型、以及如何进行测试。 1. **Kafka基本概念**：Kafka是一个高吞吐量、低延迟的消息队列系统，它主要用于构建实时数据管道和流应用。数据以主题（Topic...

kafka 修改分区_kafka的分区数设置

weixin_42402730的博客

12-29

3790

越多的分区可以提供更高的吞吐量首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行压缩。在consumer段，kafka只允许单个partition的数据被一个consumer线程消费。因此，在consumer端，...

Kafka 基本操作之集群扩容

流华追梦的专栏

03-29

1034

Kafka 集群的服务发现是由 ZooKeeper 实现的，因此 Kafka 集群想添加新的 Broker 就非常容易。我们只需要为新的 Broker 设置一个唯一的 broker.id，然后启动新增的 Kafka 就行。Kafka 集群会自动发现新增的 Broker 并同步原数据，包括当前集群有哪些 topics 以及 topics 的分区信息等。分区重新分配工具还可以用于选择性地将分区的副本移动到特定的 Broker 集。

[Kafka基础]--怎样为Kafka集群选择合适的主题和分区数量？

欢迎来到我的博客，一起探索代码里的世界！

05-03

5994

感谢英文原文：https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/这是许多Kafka用户提出的常见问题。这篇文章的目的是解释几个重要的决定因素，并提供一些简单的公式。更多的分区提供更高的吞吐量首先要理解的是，主题分区是Kafka中并行性的单位。在生产者和代理...

kafka开发经验之kafka压力测试，机器数量计算及分区数量计算

qq_39034845的博客

06-26

708

kafka开发经验之kafka压力测试，机器数量计算及分区数量计算一：kafka压力测试 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 1）Kafka Producer压力测试在kafka的安装目录下的bin目录下有如下两个文件。我们来测试一下 bin/kafka-producer-per

java qps 怎么计算_计算QPS - sarah471433 - 博客园

weixin_42713608的博客

02-16

364

文件nglog.txt文件如下时间点返回的状态吗用时(秒)13:14:15 200 1013:14:15 500 3013:14:15 200 2013:14:15 200 1013:14:15 200 1013:14:16 200 3013:14:16 500 3613:14:16 200 30013:14:16 500 30。。。。求 QPSJAVA版搓代码如下(仅限功能实现，没有考虑性...

kafka分区数如何设置_数据不撒谎，Flink-Kafka性能压测全记录

weixin_39556702的博客

11-20

1338

本文作者来自本号的粉丝：林夕_Yume，作者微信：wxid_nvd5wwng4v2i22欢迎大家关注他的简书：https://www.jianshu.com/u/3fa2b243f30d大家有同样需求的同学赶紧加他好友探讨~1.压测方案1.1 压测目的本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据不同量级...

Kafka 性能测试脚本详解

六开箱

03-25

1001

Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下： - 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh - 消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.sh 支持测试的性能指标包括：吞吐量（throughput）、最大时延（max-latency）、平均时延（avg-latency）等。

Kafka：生产者压测和消费者压测

程序员无羡的博客

04-06

1656

Kafka：生产者压测和消费者压测

Kafka

qirenzhiyou的博客

06-27

557

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

Kafka集群性能测试：生产者与消费者实证分析

"这篇博客介绍了如何进行Kafka的性能测试，包括生产者和消费者的测试，目的是优化Kafka集群的性能和稳定性。测试环境是三台物理机组成的集群，使用了Kafka自带的测试工具kafka-producer-perf-test.sh和kafka-...