Kafka压力测试

最新推荐文章于 2023-05-13 15:29:00 发布

大数据技术与数仓

最新推荐文章于 2023-05-13 15:29:00 发布

阅读量1.8k

点赞数

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.csdn.net/jmx_bigdata/article/details/98788916

版权

本文介绍了如何使用Kafka官方脚本进行压力测试，包括Kafka Producer和Consumer的压力测试，详细解析了测试脚本的参数及测试结果分析，帮助理解Kafka的性能瓶颈和优化方向。

摘要由CSDN通过智能技术生成

一、Kafka压测

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。

使用的两个脚本为kafka-consumer-perf-test.sh和kafka-producer-perf-test.sh，脚本的位置在$KAFKA_HOME/bin目录下。

二、脚本使用

2.1Kafka Producer压力测试(kafka-producer-perf-test.sh)

(1)使用方式

usage: producer-performance [-h] --topic TOPIC --num-records NUM-RECORDS [--payload-delimiter PAYLOAD-DELIMITER] --throughput THROUGHPUT
                            [--producer-props PROP-NAME=PROP-VALUE [PROP-NAME=PROP-VALUE ...]] [--producer.config CONFIG-FILE] [--print-metrics]
                            [--transactional-id TRANSACTIONAL-ID] [--transaction-duration-ms TRANSACTION-DURATION] (--record-size RECORD-SIZE |
                            --payload-file PAYLOAD-FILE)

(2)参数介绍