容器内存溢出排障思路

最新推荐文章于 2024-07-01 02:13:11 发布

k8s小王

最新推荐文章于 2024-07-01 02:13:11 发布

阅读量940

点赞数 1

分类专栏：《容器排障指南》文章标签： kubernetes 容器云原生

本文链接：https://blog.csdn.net/qq_46654855/article/details/126275321

版权

《容器排障指南》专栏收录该内容

21 篇文章 4 订阅 ¥49.90 ¥99.00

订阅专栏

本文探讨了在Kubernetes环境中遇到的容器内存溢出问题，问题表现为pod创建延迟并提示'no space left on device'或'no allocated memory'。原因是3.10内核中的cgroup kmem account特性存在内存泄露。解决方案包括重新编译kubelet和runc，或者在启动参数中禁用cgroup的kmem属性。详细步骤包括编译源码、替换原有组件以及检查kmem状态。

摘要由CSDN通过智能技术生成

问题现象：当pod长时间处于容器创建中时，describe查看pod event 时,最后有显示 no space left on device或no allocated memory，很可能就是出现节点内存溢出的问题。
确认问题：登录节点查看，执行如下两条命令检查

无异常

#cat /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo
cat: /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo: Input/output error
# cat /sys/fs/cgroup/memory/kubepods/burstable/memory.kmem.usage_in_bytes
cat: /sys/fs/cgroup/memory/kubepods/burstable/memory.kmem.usage_in_bytes: No such file or directory

有异常，内存溢出

#cat /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo
slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables

了解本专栏