我正在运行一个python应用程序,它查询(选择)mysql数据库,一次读取大约1k行,用它们执行计算,并重复数小时。被读取的表有大约20米的读数,它由MyISAM引擎驱动。MySQLdb连接器用于从python访问MySQL。在
问题是几个小时后服务器的内存都被占用了,服务器只剩下16mb的可用内存。在
第一个想法是python应用程序中的内存泄漏,但memory_profiler和dozer/dowser都显示所有变量都被正确释放。在
下一个尝试捕捉泄漏者的是在内存耗尽前后拍摄进程内存使用情况快照(psvax | sort-k8n)。在
服务器有280mb可用空间时的快照(按内存排序)(信息从顶部开始):http://pastebin.com/0F3Wht0s
2小时后。。。
快照hen服务器只有18mb的可用空间(顶部的信息):http://pastebin.com/9MJkLX2g
我惊讶的是,mysqld和statcalculator进程的内存消耗在时间上几乎完全相同。在
我显然遗漏了一些与linux内存分配相关的内容。
如何查看哪个进程分配了内存?在
服务器运行的是UbuntuServer10.04,总共有1gb的ram。
MySQL和MySQLdb来自ubunturepo。如果需要其他信息,我会在这里补充。在
TLDR:Python应用程序不断从mysql中读取select。经过几个小时之后,内存都不见了,但top显示mysqld和python进程的内存分配没有增加。在