(k8s中)docker netty OOM问题记录

1、首先查看docker的内存占用情况:

docker top 容器名 -u 查看内存cpu占用率(容器名来自kubectl describe pod xxx或者docker ps)
在这里插入图片描述
可以看出内存一直增长,作为IO代理这是不正常的。

2、修改启动参数和配置文件

需要注意的是为了安全考虑,docker默认是不能使用一些调试手段的,需要修改启动参数和yaml
docker file中增加启动参数(yaml中应该也可以):

ENTRYPOINT ["java", "-jar", "/usr/local/bin/access-1.0-SNAPSHOT.jar", "-XX:NativeMemoryTracking=detail"]

yaml增加:

apiVersion: apps/v1
kind: Deployment
.......
spec:
  ........
  template:
    ........
    spec:      
      containers:
        - name: access
          .........          
          securityContext:
              capabilities:
                add: ["SYS_PTRACE"]

3、查看具体内存占用

各类内存增长情况:

#建立内存基线
jcmd 1 VM.native_memory baseline
#与基线对比
jcmd 1 VM.native_memory summary.diff

其中1是pid,可以通过jps查看

查看当前内存具体申请源:

jcmd 1 VM.native_memory detail scale=MB  

查看结果是Other的内存增长比较明显:

[0x00007f76b2143b77] Unsafe_AllocateMemory0+0x87
[0x00007f769577c4ba]
                             (malloc=732MB type=Other #228)

Unsafe_AllocateMemory0一般是ByteBuf申请的内存,jvm不管理,也就是不会gc,需要自己关注申请和释放

4、自己申请的ByteBuf

自己申请的ByteBuf要么往下传递(通过ctx write或者fire read)由后面的pipe节点释放,要么自己通过release释放。
如果是写入服务器response中的content,通过ctx.writeAndFlush往下传递,由netty去管就行了。

5、在pipe的handle中收到的msg

比如服务器上收到的request,如果不是最后一个节点,则必须显式传递:ctx.fireChannelRead(msg);
如果是最后一个节点则自己手动释放,可以content.release也可以ReferenceCountUtil.release(msg);
也可以继承SimpleChannelInboundHandler,SimpleChannelInboundHandler中会释放,不用自己释放了。
如果是服务器处理一个请求回复一个响应,一般是作为最后一个节点,可以继承SimpleChannelInboundHandler。

6、netty的ByteBuf泄漏检测

在intellij中测试,先增加vm参数-Dio.netty.leakDetection.level=paranoid -Dio.netty.leakDetection.samplingInterval=128(需要再Modify options中选择才会出现,注意不是Program arguments):
在这里插入图片描述
测试代码:

  public static void main(String[] args) {
    ByteBuf buf = PooledByteBufAllocator.DEFAULT.buffer(1024);
    buf = null;
    System.gc();        
    try {
        Thread.sleep(1000);
    // 再申请一次,此时会检测到泄漏并报告
    PooledByteBufAllocator.DEFAULT.buffer(1024*1024);   
    } catch (Exception e) {
        return;
    }
}

运行后会报告泄露:
在这里插入图片描述
对于ServerHandler未回收的情况,如:

public class NettyServerHandler extends ChannelInboundHandlerAdapter {  
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
            if (msg instanceof HttpRequest req) {                       
                    String respMsg = "Test Message Echo";
                    ByteBuf content = Unpooled.wrappedBuffer(respMsg.getBytes(CharsetUtil.UTF_8));
                    FullHttpResponse resp = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, content);
                    resp.headers().set(HttpHeaderNames.CONTENT_LENGTH, content.readableBytes());
                    ctx.writeAndFlush(resp);

                    System.gc();
                    //在返回前msg没有显式回收,也没有交给下一个channel
                    return;
                }
    }
}

执行两次请求后会报告内存泄漏:
在这里插入图片描述

  • 7
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值