kafka压力测试

最新推荐文章于 2024-05-24 09:19:11 发布

xie670705986

最新推荐文章于 2024-05-24 09:19:11 发布

阅读量214

点赞数

文章标签： kafka

本文链接：https://blog.csdn.net/xie670705986/article/details/112667531

版权

本文介绍了如何使用Kafka官方脚本进行压力测试，包括Producer和Consumer的测试步骤及参数解析。通过测试，可以分析出系统的瓶颈（如CPU、内存、网络IO），并探讨通过增加分区数提升性能的可能性。

摘要由CSDN通过智能技术生成

1）Kafka 压测
用 Kafka 官方自带的脚本，对 Kafka 进行压测。Kafka 压测时，可以查看到哪个地方出
现了瓶颈（CPU，内存，网络 IO）。一般都是网络 IO 达到瓶颈。
kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh

2）Kafka Producer 压力测试
（1）在/opt/module/kafka/bin 目录下面有这两个文件。我们来测试一下
[atguigu@hadoop102 kafka]$ bin/kafka-producer-perf-test.sh –
topic test --record-size 100 --num-records 100000 --throughput
-1 --producer-props
bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
说明：
record-size 是一条信息有多大，单位是字节。
num-records 是总共发送多少条信息。
throughput 是每秒多少条信息，设成-1，表示不限流，可测出生产者最大吞吐量。

（2）Kafka 会打印下面的信息
100000 records sent, 95877.277085 records/sec (9.14 MB/sec),
187.68 ms avg latency, 424.00 ms max latency, 155 ms 50th, 411
ms 95th, 423 ms 99th, 424 ms 99.9th.
参数解析：本例中一共写入 10w 条消息，吞吐量为 9.14 MB