kafka broker数据6
topic partition数目:12
机器性能:cpu 2c8核,内存64g
kafka producer性能(异步发送,消息均是10435byte一条,消息不压缩):
1. cpu占用400%以上,内存1.4G, 单进程,12个producer:6224dps 62M/s
2. cpu占用400%以上,内存1.4G, 单进程,6个producer:5848dps 58M/s
3. cpu占用100%以下50%以上,内存1.4G, 单进程,3个producer:6336dps 63M/s
topic partition数目:12
机器性能:cpu 2c8核,内存64g
kafka producer性能(异步发送,消息均是10435byte一条,消息不压缩):
1. cpu占用400%以上,内存1.4G, 单进程,12个producer:6224dps 62M/s
2. cpu占用400%以上,内存1.4G, 单进程,6个producer:5848dps 58M/s
3. cpu占用100%以下50%以上,内存1.4G, 单进程,3个producer:6336dps 63M/s
4. cpu占用100%以下100%以上,内存1.4G, 单进程,1个producer:4374dps 43M/s
kafka consumer性能(只接收数据不做处理,消息均是10435byte一条,消息不压缩,消息不处理):
1. cpu占用400%以上,内存1.4G, 单进程,12个consumer:10098dps 100M/s
2. cpu占用100%-150%,内存1.4G, 单进程,3个consumer:10098dps 100M/s
3. cpu占用100%左右,内存1.4G, 单进程,1个consumer:7524dps 63M/s 74.8M/s
kafka producer性能(异步发送,消息均是10435byte一条,消息压缩):
1. cpu占用400%以上,内存1.4G, 单进程,3个producer:7374dps 原始消息73M/s
kafka consumer性能(只接收数据不做处理,消息均是10435byte一条,消息压缩,消息不处理):
1. cpu占用40%-60%,内存1.4G, 单进程,3个consumer:16117dps 原始消息160M/s