kafka局域网性能小测

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/a1015024082/article/details/80339141
kafka broker数据6
topic partition数目:12

机器性能:cpu 2c8核,内存64g

kafka producer性能(异步发送,消息均是10435byte一条,消息不压缩):
1. cpu占用400%以上,内存1.4G, 单进程,12个producer:6224dps    62M/s
2. cpu占用400%以上,内存1.4G, 单进程,6个producer:5848dps     58M/s 
3. cpu占用100%以下50%以上,内存1.4G, 单进程,3个producer:6336dps  63M/s

4. cpu占用100%以下100%以上,内存1.4G, 单进程,1个producer:4374dps   43M/s

kafka consumer性能(只接收数据不做处理,消息均是10435byte一条,消息不压缩,消息不处理):
1. cpu占用400%以上,内存1.4G, 单进程,12个consumer:10098dps    100M/s
2. cpu占用100%-150%,内存1.4G, 单进程,3个consumer:10098dps     100M/s 

3. cpu占用100%左右,内存1.4G, 单进程,1个consumer:7524dps  63M/s 74.8M/s

kafka producer性能(异步发送,消息均是10435byte一条,消息压缩):
1. cpu占用400%以上,内存1.4G, 单进程,3个producer:7374dps    原始消息73M/s 

kafka consumer性能(只接收数据不做处理,消息均是10435byte一条,消息压缩,消息不处理):
1.  cpu占用40%-60%,内存1.4G, 单进程,3个consumer:16117dps     原始消息160M/s 

展开阅读全文

没有更多推荐了,返回首页