【Kafka】记录一次虚拟机环境Kafka benchmark测试

最新推荐文章于 2023-05-13 12:20:01 发布
最新推荐文章于 2023-05-13 12:20:01 发布
阅读量457 收藏 1
点赞数
分类专栏： Kafka 文章标签： kafka 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_14840559/article/details/111934069
版权

 

注意

  • 此性能测试在虚拟机上测试！
  • kafka基准测试，消息发送，消息消费
  • 集群规模为三个broker
  • 此测试对topic不同分区进行测试
  • 2.1版本kafka已经取消了多少线程发送的测试，所以不对发送线程进行归类测试

集群环境

机器：测试机器163，164，165

kafka Info：3节点broker，jvm 1g，日志168小时(测试时，单独对topic进行了日志存储时间的设置，为的是自动清除数据，测试机器硬盘小)

kafka version：2.1.1

虚拟机配置：8 Intel(R) Xeon(R) Gold 6240 CPU @ 2.60GHz  8个逻辑核  64位

1 physical id : 0
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 2
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 4
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 6
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 8
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 10
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 12
1 address sizes : 43 bits physical, 48 bits virtual
1 physical id : 14
1 address sizes : 43 bits physical, 48 bits virtual

虚拟机核不做过多赘述

Linux XXGL-T-TJSYZ-app-026 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

测试环境

机器：172.24.29.163（虚拟机）

虚拟机配置：8 Intel(R) Xeon(R) Gold 6240 CPU @ 2.60GHz

性能测试工具

kafka自带测试脚本：kafka-producer-perf-test.sh、kafka-consumer-perf-test.sh

生产者测试

分区数不同

分区数分别为3、9、15，消息数都为：100W，消息大小：100byte，副本数都为1

创建Topic：

注意：topic名称之前不能有空格

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test_producer_3_1 -partitions 3 -replication-factor 1

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test_producer_6_1 -partitions 6 -replication-factor 1

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test_producer_9_1 -partitions 9 -replication-factor 1

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test_producer_12_1 -partitions 12 -replication-factor 1

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test_producer_15_1 -partitions 15 -replication-factor 1

设置topic消息保存时间：

修改消息保存时间为1分钟

./kafka-configs.sh --zookeeper 172.24.29.163:2181/kafka211 --entity-type topics --entity-name test_producer_3_1 --add-config retention.ms=60000 --alter

./kafka-configs.sh --zookeeper 172.24.29.163:2181/kafka211 --entity-type topics --entity-name test_producer_9_1 --add-config retention.ms=60000 --alter

./kafka-configs.sh --zookeeper 172.24.29.163:2181/kafka211 --entity-type topics --entity-name test_producer_15_1 --add-config retention.ms=60000 --alter

生产消息：

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 811688.311688 records/sec (77.41 MB/sec), 5.51 ms avg latency, 228.00 ms max latency, 5 ms 50th, 12 ms 95th, 15 ms 99th, 29 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_6_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 827129.859388 records/sec (78.88 MB/sec), 5.05 ms avg latency, 180.00 ms max latency, 3 ms 50th, 13 ms 95th, 17 ms 99th, 23 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 840336.134454 records/sec (80.14 MB/sec), 6.88 ms avg latency, 169.00 ms max latency, 4 ms 50th, 16 ms 95th, 32 ms 99th, 35 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_12 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 769230.769231 records/sec (73.36 MB/sec), 6.08 ms avg latency, 184.00 ms max latency, 4 ms 50th, 18 ms 95th, 43 ms 99th, 66 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_15_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 847457.627119 records/sec (80.82 MB/sec), 5.38 ms avg latency, 170.00 ms max latency, 4 ms 50th, 12 ms 95th, 21 ms 99th, 32 ms 99.9th.

结果：

节点数分区数副本数

每秒发送消息数  records/sec

发送速率 MB/sec平均延迟最大延迟50%95%99%
33181168877.41 5.51 ms228.00 ms5ms12ms15ms
36182713078.885.05 ms180.00 ms3ms13ms17ms
39184033680.146.88 ms169.00 ms4ms16ms32ms
312176923173.366.08 ms184.00 ms4ms18ms43ms
315184745880.825.38 ms170.00 ms4ms12ms21ms

副本数不同

分区数都为9，消息数都为：100W，消息大小：100byte，副本数分别为1、2、3

创建Topic：

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test_producer_9_2 -partitions 9 -replication-factor 2

./kafka-topics.sh -create -zookeeper 172.24.29.163:2181/kafka211 -topic test-producer-9-3 -partitions 9 -replication-factor 3

设置topic消息保存时间：

./kafka-configs.sh --zookeeper 172.24.29.163:2181/kafka211 --entity-type topics --entity-name test_producer_9_2 --add-config retention.ms=60000 --alter

./kafka-configs.sh --zookeeper 172.24.29.163:2181/kafka211 --entity-type topics --entity-name test_producer_9_3 --add-config retention.ms=60000 --alter

生产消息：

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 803858.520900 records/sec (76.66 MB/sec), 3.00 ms avg latency, 194.00 ms max latency, 3 ms 50th, 6 ms 95th, 10 ms 99th, 12 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_2 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 803212.851406 records/sec (76.60 MB/sec), 7.69 ms avg latency, 183.00 ms max latency, 6 ms 50th, 19 ms 95th, 23 ms 99th, 24 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_3 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 795544.948290 records/sec (75.87 MB/sec), 13.01 ms avg latency, 194.00 ms max latency, 11 ms 50th, 31 ms 95th, 45 ms 99th, 56 ms 99.9th.

结果：

节点数分区数副本数

每秒发送消息数  records/sec

发送速率 MB/sec平均延迟 ms最大延迟 ms50% ms95% ms99% ms99.9% ms
39180385976.663.00194361012
39280321376.607.691836192324
39380321375.8713.0119411314556

消息大小不同

分区数都为9，消息数都为：100W，副本数分别为1，消息大小分别为：10byte、100byte、1000byte

生产消息：

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_1 --throughput 100000000 --record-size 10 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 869565.217391 records/sec (8.29 MB/sec), 3.12 ms avg latency, 180.00 ms max latency, 3 ms 50th, 6 ms 95th, 16 ms 99th, 22 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 812347.684809 records/sec (77.47 MB/sec), 4.67 ms avg latency, 169.00 ms max latency, 3 ms 50th, 12 ms 95th, 13 ms 99th, 21 ms 99.9th.

 

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_1 --throughput 100000000 --record-size 1000 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

1000000 records sent, 233972.859148 records/sec (223.13 MB/sec), 124.23 ms avg latency, 282.00 ms max latency, 150 ms 50th, 238 ms 95th, 260 ms 99th, 280 ms 99.9th.

结果：

节点数分区数副本数消息大小 byte

每秒发送消息数  records/sec

发送速率 MB/sec平均延迟 ms最大延迟 ms50% ms95% ms99% ms99.9% ms
391108695658.293.12180361622
39110081234877.474.671693121321
3911000233973223.13124.23282150283260280

消费者测试

线程数不同

为方便测试，修改消息保存时间为1h：

./kafka-configs.sh --zookeeper 172.24.29.163:2181/kafka211 --entity-type topics --entity-name test_producer_3_1 --add-config retention.ms=600000 --alter

生产消息：

节点数：3、分区数：3、副本数：1、消息大小：1000byte

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 1000 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

消费消息：

注意使用不同的消费组消费同一topic

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-1 --timeout 60000 --threads 1

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 16:56:13:720, 2020-10-21 16:56:15:128, 363.5883, 258.2304, 1000000, 710227.2727, 14, 1394, 260.8238, 717360.1148

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-2 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 16:56:33:331, 2020-10-21 16:56:34:686, 363.9135, 268.5709, 1000341, 738259.0406, 11, 1344, 270.7690, 744301.3393

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-3 --timeout 60000 --threads 20
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 16:56:48:238, 2020-10-21 16:56:49:648, 363.5883, 257.8641, 1000000, 709219.8582, 13, 1397, 260.2637, 715819.6135

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-4 --timeout 60000 --threads 30

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 16:57:06:195, 2020-10-21 16:57:07:610, 363.5883, 256.9529, 1000000, 706713.7809, 12, 1403, 259.1506, 712758.3749

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-5 --timeout 60000 --threads 40

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 16:58:05:760, 2020-10-21 16:58:07:201, 363.9708, 252.5821, 1000401, 694240.8050, 15, 1426, 255.2390, 701543.4783

解释：

start.time：测试开始时间,

end.time：测试结束时间,

data.consumed.in.MB：消费的所有消息的大小(MB),

MB.sec：每秒传输的数据量(MB),

data.consumed.in.nMsg：测试总共消费的消息数,

nMsg.sec：一秒内消费的消息数,

rebalance.time.ms：均衡耗时(ms),

fetch.time.ms：拉取耗时(ms),

fetch.MB.sec：每秒拉取数据(MB),

fetch.nMsg.sec：每秒拉取消息数

结果：

线程数

消息总大小(MB)

data.consumed.in.MB

每秒传输数据大小(MB)

MB.sec

消费消息总数

data.consumed.in.nMsg

每秒消费消息数

nMsg.sec

均衡耗时(ms)

rebalance.time.ms

拉取耗时(ms)

fetch.time.ms

每秒拉取数据(MB)

fetch.MB.sec

每秒拉取消息数

fetch.nMsg.sec

1363.5883258.23041000000710227.2727141394260.8238717360.1148
10363.5883268.57091000000738259.0406111344270.7690744301.3393
20363.5883257.86411000000709219.8582131397260.2637715819.6135
30363.5883256.95291000000706713.7809121403259.1506712758.3749
40363.5883252.58211000000694240.8050151426255.2390701543.4783

分区数不同

生产消息：

消息大小均为100byte、消息数：100W、节点数：3、副本数：1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_6_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_9_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_12_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_15_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

消费消息：

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:36:08:761, 2020-10-21 17:36:09:683, 95.3674, 103.4354, 1000000, 1084598.6985, 11, 911, 104.6843, 1097694.8408

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_6_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:35:12:812, 2020-10-21 17:35:13:746, 95.3674, 102.1065, 1000000, 1070663.8116, 12, 922, 103.4354, 1084598.6985

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_9_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:37:00:262, 2020-10-21 17:37:01:155, 95.3674, 106.7944, 1000000, 1119820.8287, 13, 880, 108.3721, 1136363.6364

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_12_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:37:45:271, 2020-10-21 17:37:46:176, 95.3674, 105.3784, 1000000, 1104972.3757, 12, 893, 106.7944, 1119820.8287

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_15_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:38:29:756, 2020-10-21 17:38:30:659, 95.3674, 105.6118, 1000000, 1107419.7121, 13, 890, 107.1544, 1123595.5056

结果：

分区数

消息总大小(MB)

data.consumed.in.MB

每秒传输数据大小(MB)

MB.sec

消费消息总数

data.consumed.in.nMsg

每秒消费消息数

nMsg.sec

均衡耗时(ms)

rebalance.time.ms

拉取耗时(ms)

fetch.time.ms

每秒拉取数据(MB)

fetch.MB.sec

每秒拉取消息数

fetch.nMsg.sec

395.3674103.435410000001084598.698511911104.68431097694.8408
695.3674102.106510000001070663.811612922103.43541084598.6985
995.3674106.794410000001119820.828713880108.37211136363.6364
1295.3674105.378410000001104972.375712893106.79441119820.8287
1595.3674105.611810000001107419.712113890107.15441123595.5056

消息大小不同

生产消息：

消息数：100W、节点数：3、副本数：1、分区数：3、消息大小分别为：10byte、100byte、1000byte

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 10 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 100 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 1000 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

消费消息：

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:54:21:921, 2020-10-21 17:54:22:634, 9.5367, 13.3755, 1000000, 1402524.5442, 13, 700, 13.6239, 1428571.4286

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:54:56:167, 2020-10-21 17:54:57:050, 95.3674, 108.0039, 1000000, 1132502.8313, 13, 870, 109.6177, 1149425.2874

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1048576 --topic test_producer_3_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 17:55:25:427, 2020-10-21 17:55:27:890, 953.6743, 387.2003, 1000000, 406008.9322, 19, 2444, 390.2104, 409165.3028

 

结果：

消息大小

(bytes)

消息总大小(MB)

data.consumed.in.MB

每秒传输数据大小(MB)

MB.sec

消费消息总数

data.consumed.in.nMsg

每秒消费消息数

nMsg.sec

均衡耗时(ms)

rebalance.time.ms

拉取耗时(ms)

fetch.time.ms

每秒拉取数据(MB)

fetch.MB.sec

每秒拉取消息数

fetch.nMsg.sec

109.536713.375510000001402524.54421370013.62391428571.4286
10095.3674108.003910000001132502.831313870109.61771149425.2874
1000953.6743387.20031000000406008.9322192444390.2104409165.3028
         
         

每次拉取消息大小不同

生产消息：

消息数：100W、每条消息：1000byte、节点数：3、副本数：1、分区数：3、每次请求拉取数据大小分别为：1KB、1MB(默认)、10MB

./kafka-producer-perf-test.sh --num-records 1000000 --topic test_producer_3_1 --throughput 100000000 --record-size 1000 --producer-props bootstrap.servers=172.24.29.165:9092 acks=1

消费消息：

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1024 --topic test_producer_3_1 --group test-group-1 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 18:11:25:471, 2020-10-21 18:11:39:242, 953.6743, 69.2524, 1000000, 72616.3677, 12, 13759, 69.3128, 72679.7006

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 1024000 --topic test_producer_3_1 --group test-group-2 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2020-10-21 18:11:51:403, 2020-10-21 18:11:53:772, 953.6743, 402.5641, 1000000, 422119.0376, 11, 2358, 404.4420, 424088.2103

 

./kafka-consumer-perf-test.sh --broker-list 172.24.29.163:9092,172.24.29.164:9092,172.24.29.165:9092 --messages 1000000 --fetch-size 10240000 --topic test_producer_3_1 --group test-group-4 --timeout 60000 --threads 10

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

2020-10-21 18:15:11:039, 2020-10-21 18:15:13:808, 953.6743, 344.4111, 1000000, 361141.2062, 13, 2756, 346.0357, 362844.7025

结果：

每次拉取大小

消息总大小(MB)

data.consumed.in.MB

每秒传输数据大小(MB)

MB.sec

消费消息总数

data.consumed.in.nMsg

每秒消费消息数

nMsg.sec

均衡耗时(ms)

rebalance.time.ms

拉取耗时(ms)

fetch.time.ms

每秒拉取数据(MB)

fetch.MB.sec

每秒拉取消息数

fetch.nMsg.sec

1KB95.367469.2524100000072616.3677121375969.312872679.7006
1MB95.3674402.56411000000422119.0376112358404.4420424088.2103
10MB95.3674344.41111000000361141.2062132756346.0357362844.7025
         
         

 

 

喝不完一杯咖啡
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从message.properties获取消息代码列表
03-31 1396
通常，通过键（即消息代码）从消息属性中获取消息，如果我们想选择多个消息属性（如列表），该怎么办。 要从message.properties获取选择消息代码的列表，我们需要自定义messageSource bean。 为此，让我们创建一个“ CustomizedPluginAwareResourceBundleMessageSource”类，该类应该扩展“ PluginAwareResourc...
Kafka设计解析（六）Kafka性能测试方法及Benchmark报告
01-27
第一篇"第二篇第三篇第四篇第五篇本文详细介绍了Kafka性能测试方法及Benchmark报告。Kafka提供了非常多有用的工具，如Kafka设计解析（四）-Kafka HighAvailability（下）中提到的运维类工具——PartitionReassign ...
Kafka深度解析
雲的博客
07-22 2361
背景介绍Kafka简介 [size=16.7999992370605px]　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区，
Kafka深度解析，众人推荐，精彩好文！
weixin_30568591的博客
08-04 140
作者： Jason Guo 背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个p...
SpringBoot整合 RabbitMQ
我的博客
09-08 918
SpringBoot整合 RabbitMQ 建springboot项目时导入springboot整合rabbitmq依赖包 1,生产者 application.yml配置文件 spring: rabbitmq: port: 5672 password: root username: root virtual-host: /pms host: localhost template: mandatory: true #没有投递到队列，强
rabbitmq消息阻塞情况分析；自动重试处理异常
奔跑的菜鸡
07-19 4695
mq消息阻塞分析并处理
RocketMQ的顺序消费问题MessageListenerOrderly()
qq_40662424的博客
02-17 6597
consumer.registerMessageListener(new MessageListenerOrderly() { @Override public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) { for (MessageExt msg : msgs) {
JMeter测试Kafka插件kafkameter-0.2.0.jar
10-17
使用JMeter发送数据到Kafka需要用到的jar包，用于在JMeter Java Request中新增一个Kafka相关的类。 使用7zip解压，得到kafkameter-0.2.0.jar
向kafka插入数据测试
07-12
向kafka插入数据测试
kafka测试推送实例
06-13
kafka测试推送实例
《RabbitMQ》 | 消息丢失也就这么回事
Cbuc丶的博客
10-24 842
大家好，我是小菜。 一个希望能够成为 吹着牛X谈架构 的男人！如果你也想成为我想成为的人，不然点个关注做个伴，让小菜不再孤单！ 本文主要介绍 RabbitMQ的消息丢失问题 如有需要，可以参考 如有帮助，不忘 点赞 ❥ 微信公众号已开启，小菜良记，没关注的同学们记得关注哦！ 是的，最终是对 RabbitMQ 下手了！ 面试中常见的RabbitMQ面试题也是多了去了，常见的如下： 消息可靠性问题：如何确保发送的消息至少被消费一次？ 延迟消息问题：如何实现消息的延迟投递？ 高可用问题：如何避免单点的MQ故
MQ(MessageQueue)消息队列
weixin_43732943的博客
10-23 1470
如果服务提供者出现问题，所有调用方都会跟着出问题，如同多米诺骨牌一样，迅速导致整个微服务群故障。调用链中的每个服务在等待响应过程中，不能释放请求占用的资源，高并发场景下会极度浪费系统资源。调用者需要等待服务提供者响应，如果调用链过长则响应时间等于每次调用的时间之和。架构复杂了，业务没有明显的流程线，不好追踪管理。故障隔离：服务没有强依赖，不担心级联失败问题。依赖于Broker的可靠性、安全性、吞吐能力。每次加入新的需求，都要修改原来的代码。时效性较强，可以立即得到结果。性能提升，吞吐量提升。
顺序消息分析
Leon_Jinhai_Sun的博客
06-14 342
顺序消息 消息有序指的是可以按照消息的发送顺序来消费(FIFO)。RocketMQ可以严格的保证消息有序，可以分为分区有序或者全局有序。 顺序消费的原理解析，在默认的情况下消息发送会采取Round Robin轮询方式把消息发送到不同的queue(分区队列)；而消费消息的时候从多个queue上拉取消息，这种情况发送和消费是不能保证顺序。但是如果控制发送的顺序消息只依次发送到同一个queue中，消费的时候只从这个queue上依次拉取，则就保证了顺序。当发送和消费参与的queue只有一个，则是全局有序；如果多
关于rocketmq 的坑 --MessageListenerOrderly 会导致 消费端启动后消费延迟
追梦程序员
05-13 2132
如果使用 DefaultMQPushConsumer + MessageListenerOrderly 解决有序接收消息时, 接收方.start() 以后, 有时很快可以收到数据, 大部分时候需要很长时间(超过30s)才可以收到数据, 我尝试改动所有配置都没有改善。我本想去看看源码, 发现现在有可以替代的 DefaultLitePullConsumer 类,就用新的吧。发送方可以从多个通道发送消息到Mq集群 , 然后消费方自己到Mq集群 去拉取多个通道中的消息,都无法改善延迟接收的问题。
springboot国际化的使用(一)
飞鸟的博客
01-21 1891
步骤： 1.首先建立一个meven项目 2.在pom.xml中加如下依赖： &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-thymeleaf&lt;/artifactId&gt;...
RabbitMQ基础概念详细介绍
woailuohui的专栏
08-14 9020
RabbitMQ简介 AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。RabbitMQ是一个开源的AMQP实现，服务器端用Erl...
RocketMQ-名词和架构
热门推荐
不是很懂
09-29 2万+
RocketMQ rocketMQ是做什么的我就不用解释了吧，以及他的背景。本文主要是为了让大家明白RocketMQ的工作原理。 主要名词解释 ProducerGroup由一组Producer组成 Topic Broker Queue ConsumerGroup
springboot 国际化实践
weixin_41830440的博客
07-03 530
springboot 国际化实践 首先在static文件夹下边创建一个i18n文件夹,分别创建message.properties,message_en_US.properties,message_zh_CN.properties三个文件,分别为默认语言,英文,中文 如下图所示 假设我们现在是新增用户,定义add.ok标识新增成功 我们写一个方法模拟用户登录 @Autowired private Messageutil messageutil; @PostMapping("/addUser") pub
kafka精准一次性
最新发布
09-06
Kafka精准一次性语义是指在消息传输过程中，确保消息被精确地处理一次，要么全部成功要么全部失败。从Kafka 0.11版本开始，引入了事务支持，可以实现精准一次性语义。事务可以跨分区和会话，确保生产和消费的消息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值