使用用Kafka自带的脚本进行压力测试。
测试平台:CDH6.2,Kafka2.1
Kafka压测可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO),一般都是网络IO达到瓶颈。
kafka-producer-perf-test.sh
kafka-consumer-perf-test.sh
Kafka Producer压力测试
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka/bin/kafka-producer-perf-test.sh \
--topic test --record-size 1000 --num-records 1000000 --throughput 1000 \
--producer-props bootstrap.servers=cdh-master:9092,cdh-slave01:9092,cdh-slave02:9092
- record-size 单条信息大小,字节单位。
- num-records 总共发送多少条信息。
- throughput 每秒多少条信息。
说明: