kafka性能测试的,jmap内存堆分析

27 篇文章 0 订阅

在进行测试中,发现推送kafka集群会有延迟1秒多,查看kafka的内存已经使用的堆内存超过了Kafka默认的1G内存,查看kafka的默认内存在kafka-server-start.sh的脚本文件

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

修改堆内存xmx为2G内存,xms初始内存还是默认1G内存,推送还是有延迟,内存使用超过堆内存的2G,但垃圾回收一直很频繁

在把初始化内存xms修改2G内存,内存也有飙到2G多,发送到分区的所属Broker节点超出2G内存的都会延迟。


 1356 kafka     20   0 8333440 2.023g   9572 S  70.1 17.6  14:40.19 java                                                                                                                      
 1356 kafka     20   0 8333440 2.024g   9536 S  58.3 17.6  14:41.94 java                                                                                                                      
 1356 kafka     20   0 8333440 2.025g   9528 S  62.7 17.6  14:43.82 java                                                                                                                      
 1356 kafka     20   0 8333440 2.026g   9500 S  63.1 17.6  14:45.72 java                                                                                                                      
 1356 kafka     20   0 8333440 2.027g   9500 S  67.3 17.7  14:47.74 java                                                                                                                      
 1356 kafka     20   0 8333440 2.029g   9380 S  66.7 17.7  14:49.74 java                                                                                                                      
 1356 kafka     20   0 8333440 2.029g   9320 S  59.8 17.7  14:51.54 java                                                                                                                      
 1356 kafka     20   0 8333440 2.031g   9260 S  81.7 17.7  14:53.99 java                                                                                                                      
 1356 kafka     20   0 8333440 2.032g   9276 S  70.7 17.7  14:56.11 java                                                                                                                      
 1356 kafka     20   0 8333440 2.034g   9276 S  72.1 17.7  14:58.28 java                                                                                                                      
 1356 kafka     20   0 8333440 2.034g   9260 S  73.7 17.7  15:00.49 java                                                                                                                      
 1356 kafka     20   0 8333440 2.034g   9260 S  65.7 17.7  15:02.46 java                                                                                                                      
 1356 kafka     20   0 8333440 2.036g   9260 S  67.4 17.7  15:04.49 java                                                                                                                      
 1356 kafka     20   0 8333440 2.036g   9252 S  57.0 17.7  15:06.20 java                                                                                                                      
 1356 kafka     20   0 8333440 2.038g   9244 S  72.7 17.7  15:08.38 java                                                                                                                      
 1356 kafka     20   0 8333440 2.038g   9104 S  64.1 17.8  15:10.31 java   

查看堆内存Old Gen回收速度 

执行jmap -heap 1356


G1 Old Generation:
   regions  = 688
   capacity = 2034237440 (1940.0MB)
   used     = 719784456 (686.4399490356445MB)
   free     = 1314452984 (1253.5600509643555MB)
   35.383502527610545% used

隔1秒在刷一次

G1 Old Generation:
   regions  = 287
   capacity = 2034237440 (1940.0MB)
   used     = 299869184 (285.9775390625MB)
   free     = 1734368256 (1654.0224609375MB)
   14.741110260953608% used

可以看出刚从使用%used一直在变,说明Old一直在执行垃圾回收的操作,

在执行垃圾回收操作的时候,kafka是拒绝接收数据的。








  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值