问题场景:
压测时产生大量日志文件,导致free -m命令中的free参数指标飙升。只有删除该日志文件,free参数恢复正常。
项目中使用logback作为日志框架,操作系统是SUSE SP12版本,最开始误以为是logback日志在该系统下存在内存泄漏,观察堆栈信息,都没有发现任何异常,发现free所占内存并非java应用所持有。所以从linux内核找原因,深入了解了一下free -m指令,以及linux的io缓存部分。
解答:
问题出现原因是linux对于io部分做的优化。文件写入后会预读到cache里面,在free -m的参数中会占用到used和cachecd部分。cache部分有自己的缓存淘汰策略,即使有大量文件或者缓存,
也不影响程序高速运行,如果想要强行释放内存,可以使用如下指令
echo 3 | sudo tee /proc/sys/vm/drop_caches
如果想要查看程序真正的可用内存,可以在free -m后查看available参数。
验证如下:(生成1G文件后,free占用多了1G,但是并未真正占用程序的内存,只是缓存部分多了1G释放内存后,恢复正常)