问题
程序占用内存很小,只有几十MB,但总内存却一直增长,疑似内存泄漏
解决过程
- 进入对应容器,使用top查看内存占用最多的程序,发现是我们的程序,但也仅有几十MB;
- 在容器运行的物理机上查看对应的docker进程内存占用,发现也仅有几十MB;
- 使用docker stats查看容器的内存占用,发现与监控一致,显示用了几百MB;
- 使用pprof分析程序,未发现内存泄漏的问题;
- 使用free查看内存信息,发现buffer占用内存极大;
- 结合My Process Used Minimal Memory, and My Docker Memory Usage Exploded | Codefresh文章,考虑是因为频繁大量写日志,导致linux系统一直未将日志文件的缓存flush到磁盘导致;
- 不重启服务,修改部分日志参数减少日志的打印,发现内存占用增长变慢了;
- 尝试执行echo 1 > /proc/sys/vm/drop_caches,刷新linux buffer,发现总内存占用下降,常驻内存未变;
解决方案
综上可知,总内存占用高并非一定是内存泄露,在该案例中总内存占用大是因为:频繁大量写日志导致linux内存页中的缓存一直被更新,linux采用最近最少使用的方式flash缓存到磁盘(猜测),因此频繁的读写导致内存中的缓存一直不释放;
- 此缓存是linux层面做的,等待linux自己进行处理;
- 使用脚本定期执行echo 1 > /proc/sys/vm/drop_caches刷新linux的缓存;
参考文章:
1. My Process Used Minimal Memory, and My Docker Memory Usage Exploded | Codefresh
2. https://stackoverflow.com/questions/71333934/kubernetes-pod-high-cache-memory-usage
3. Docker containers' memory consumption never decreases (or does it?) - Stack Overflow
4. puppeteer - docker cache memory increasing all the time - Stack Overflow