k8s容器 pod OOM, exit code:137

  1. 某天查看线上服务,发现有个服务平均每天重启一次,通过k8s descripe pod podName 命令发现exit code: 137 reason: OOM Killed.
  2. 提示比较明显OOM(当时查了失败的容器内服务日志,发现没有异常信息,有点疑惑的),然后果断在jvm配置里添加OOM自动dump日志参数,-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heapdump.hprof,等着问题后分析日志原因(我们体量不大,同时又是多节点,所以直接线上搞了。一般情况下还是线上能优化就先优化下,测试环境验证,确定问题,并解决后再处理线上)
  3. 第二天发现pod又重启后,进入pod所在服务器,找到对应已关闭的docker容器,执行docker cp 命令,去copy dump文件发现路径不存在,没有该文件,有点蒙,感觉哪里又弄错了,于是重新检查配置是否生效,同时又去网上用exit code 137 OOM重新查找。
  4. 看了篇文章,意识到容器OOM和服务OOM不是一回事,容器OOM是因为容器占用内存超过了配置里内存的limit设置,导致容器服务把容器kill掉了,对与服务而言这时还是正常的,自然不会dump 日志了。理解了这层含义后,大致猜测jvm内存设置不合理,运行期间堆内存逐渐增大,jvm最大内存还没到,但是已经达到了容器内存的最大限制,然后容器被kill掉了。
  5. 于是调小了jvm堆内存设置,后续跟踪几天发现没在出现该情况。
  • PS:容器内jvm感知不到容器限制,Java 8u191 +支持加参数感知容器内存限制,以及设定内存占用比例,java10以后好像可以不加参数自动感知容器内存
  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值