kafka压力测试以及机器数量计算公式

一:压力测试

1.自带测试脚本路径

在kafka安装目录的bin目录下

/export/servers/kafka_2.11-0.10.0.0/bin

2.生产能力测试命令

bin/kafka-producer-perf-test.sh  --topic test  --record-size 100 --num-records 100000 --throughput 1000  --producer-props bootstrap.servers=node01:9020,node02:9020,node03:9020

record-size 代表每条信息的大小.100就是100byte
num-records 代表多少条信息
throughput 代表每秒多少条信息

3.消费能力测试命令

bin/kafka-consumer-perf-test.sh  --zookeeper node01:2181  --topic test  --fetch-size 10000  --messages 10000000  --threads 1

–fetch-size 指定每次fetch 的数据大小
–messages 指定总共要消费的数据量
–threads 线程数

二:机器数量计算公式

原则:kafka的生产能力不能大于消费能力

kafka机器数量(经验公式)=2*(峰值生成速度*副本数/100)+1

比如: 压力测试写入(生产)速度为10M/s 每台,峰值为50M/s,副本数为2
kafka数量=2*(50*2/100)+1=3台