arm服务器 性能测试,arm平台kafka性能测试

arm平台kafka性能测试

部署方式

主机名

kafka版本

IP

vcapp250

2.3.1

172.32.150.250

vcapp251

2.3.1

172.32.150.251

vcapp252

2.3.1

172.32.150.252

生产者测试

分区数

测试过程

新建一个拥有3个分区、1个副本的主题；

新建一个拥有6个分区、1个副本的主题；

新建一个拥有15个分区、1个副本的主题；

新建一个拥有24个分区、1个副本的主题；

新建一个拥有30个分区、1个副本的主题；

向拥有3个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；

向拥有6个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；

向拥有15个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；

向拥有24个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化；

向拥有30个分区、1个副本的主题中发送相同数量的消息记录，查看性能变化。

测试命令

#创建topic

#根据测试条件更改参数--partitions

./bin/kafka-topics.sh \

--create \

--zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \

--topic testproducer \

--partitions XX \

--replication-factor 1

#创建生产者

#消息长度1024

./bin/kafka-producer-perf-test.sh \

--num-records 5000000 \

--topic testproducer \

--record-size 1024 \

--throughput -1 \

--producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1

#消息长度2048

./bin/kafka-producer-perf-test.sh \

--num-records 5000000 \

--topic testproducer \

--record-size 2048 \

--throughput -1 \

--producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1

#删除topic

./bin/kafka-topics.sh \

--delete \

--zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \

--topic testproducer

测试结果

kafka节点数

分区数

副本数

消息大小

每秒发送信息(records/sec)

数据量(MB/sec)

3

3

1

1024

119402.985075

116.60

3

6

1

1024

145492.638073

142.08

3

15

1

1024

154282.893113

150.67

3

24

1

1024

150679.564837

147.15

3

30

1

1024

151781.919738

148.22

kafka节点数

分区数

副本数

消息大小

每秒发送信息(records/sec)

数据量(MB/sec)

3

3

1

2048

56215.146609

109.80

3

6

1

2048

70209.927684

137.13

3

15

1

2048

78094.494338

152.53

3

24

1

2048

71077.246752

138.82

3

30

1

2048

76645.972254

149.70

测试结论

当partition个数为broker数的5倍左右时性能较好。

副本数

测试过程

新建一个拥有15个分区、1个副本的主题；

新建一个拥有15个分区、2个副本的主题；

新建一个拥有15个分区、3个副本的主题；

测试命令

参考之前分区数测试相关命令。

测试结果

kafka节点数

分区数

副本数

消息大小

每秒发送信息(records/sec)

数据量(MB/sec)

3

15

1

1024

78094.494338

152.53

3

15

2

1024

48058.439062

46.93

3

15

3

1024

36459.358753

35.60

测试结论

当副本数为1时性能最佳，增加副本后性能下降明显。