Kafka 3.4.1 压力测试

硬件环境

单机2核1G

软件版本

Kafka 3.4.1，ZooKeeper 使用 Kafka 内置版

软件配置

Kafka 的配置使用默认的配置

消息生产压力测试

压力测试命令

共发送1000万条消息，每条消息500字节，每秒生产200万条信息

./kafka-producer-perf-test.sh --topic test_perf --num-records 10000000 --record-size 500 --throughput 2000000 --producer-props bootstrap.servers=172.xx.95.xxx:9092

测试结果

平均每秒接收10万条消息

10000000 records sent, 106539.387612 records/sec (50.80 MB/sec), 578.17 ms avg latency, 1066.00 ms max latency, 572 ms 50th, 727 ms 95th, 889 ms 99th, 1057 ms 99.9th.

消费消息的压力测试

共消费1000万条消息

./kafka-consumer-perf-test.sh --broker-list 172.xx.95.xxx:9092 --topic test_perf --fetch-size 1048576 --messages 10000000

测试结果

平均每秒消费50万条消息

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

2023-07-10 22:25:01:308, 2023-07-10 22:25:20:935, 1901.2615, 96.8697, 10000478, 509526.5705, 495, 19132, 99.3760, 522709.4920

Kafka 在低配置的单机下，性能依然非常高。