kafka压力测试

一、kafka压力测试

1、写入mq的消息  100000条
 ./kafka-producer-perf-test.sh --topic topic_001 --num-records 100000 --record-size 1000 --throughput 200 --producer-props bootstrap.servers=bigdata1:6667,bigdata2:6667,bigdata3:6667

 kafka-producer-perf-test.sh 脚本命令的参数解析
 --topic topic名称，本列子为  topic_001
 --num-records 总共需要发送的消息数，本例为100000
 --record-size 每个记录数的字节数   本列为1000
 --throughput 每秒钟发送的记录数，本案例为5000
 --producer-props bootstrap.servers=bigdata1:6667,bigdata2:6667,bigdata3:6667

2、消费mq消息
./kafka-consumer-perf-test.sh --broker-list bigdata1:6667,bigdata2:6667,bigdata3:6667 --topic topic_001 --fetch-size 1048576 --messages 100000 --threads 1 

kafka-consumer-perf-test.sh 脚本命令参数解析
--broker-list  指定kafka的连接信息
--topic  指定topic的名称
--fetch-size 指定每次fetch的数据大小，本例为1048576，也就是1M
--messages 总共要消费的消息个数