容器数量增加导致fs.inotify.max_user_instances超过限制

最新推荐文章于 2023-05-30 20:13:41 发布

villare

最新推荐文章于 2023-05-30 20:13:41 发布

阅读量4.9k

点赞数 1

分类专栏： Docker & k8s运维笔记文章标签： docker journal inotify 最大句柄数 open too many files

本文链接：https://blog.csdn.net/villare/article/details/80936467

版权

当Docker服务数量增加到一定程度时，出现了日志丢失的问题。分析发现，原因是fs.inotify.max_user_instances限制超过了阈值。通过修改这个配置并适当增加限制值，解决了日志丢失的问题。同时建议优化rsyslog和journal配置以适应多容器环境。

摘要由CSDN通过智能技术生成

1.现象描述
2.问题分析
3.解决办法
4.总结
5.参考链接

平台架构：Rancher,k8s,微服务

问题的出现发生在最近，当服务的数量增加到一定程度时，出现了容器日志不定期丢失的情况，通过以下方式均没有日志信息输出：
1）通过Rancher,Kubernetes UI查看容器日志
2）通过docker logs查看

由于是日志出现问题，首先考虑到的是rsyslog和journal服务是否工作正常；通过修改如下配置测试：

rsyslog配置文件：/etc/rsyslog.conf

// 日志频率限制
$IMUXSockRateLimitInterval 0
$IMJournalRatelimitInterval 0
// 打开文件数
$MaxOpenFiles 5000

journal配置文件：/etc/systemd/journald.conf

关注

专栏目录