记录一个Ubuntu中python深度学习程序的内存泄漏情况及其处理

不得不说，很多看似很成熟的程序，也会有很多内存泄露的问题：

由于实验需要，我需要在硬盘上生成很多的小文件，然后调用srcML处理（我也试过直接在内存中读写，但会有其他问题），然后根据处理结果生成embedding。最终生成几个list，每个list大概有十几万个图。本来很简单的过程，但是跑实验的时候遇到了好几个内存泄漏问题：

1. 我希望看到生成小文件的过程，因为可以判断程序运行的速度，就一直开着文件夹看，结果看到nautilus逐渐把内存占满了，我以为是因为频繁读写硬盘造成的：

Ubuntu 中的文件管理器 Nautilus 提供了简单而综合的文件和应用程序管理方式。

看到不止一位朋友也遇到了类似的问题，例如这里：https://bbs.csdn.net/topics/398738043

所以首先一个改进是定期把这个进程kill掉：

os.system('pkill nautilus')

2. 上面这个问题解决后，发现每次kill掉这个进程，打开的文件夹窗口都会被关掉，恍然大悟，原来内存泄漏就是因为我一直在监视程序运行啊。这回nautilus没问题了，但是运行的python代码却占内存越来越大，而且速度越来越慢，又查了一下，发现有朋友介绍了python本身的list操作的问题：https://www.jianshu.com/p/6a38f6ea23c1

又查看了一下其他的博客，发现主要是list用append的话，会越来越慢（其实只有十几万个，按理来说没问题的啊），所以用了几个临时list，当临时list长度等于某个值的时候，再用extend扩展原list，同时临时list清零，同时使用上面博客中介绍的gc。同时，还是保留kill nautilus的功能，同时增加定期kill srcML的功能。试了一下，总算没有内存泄露的问题了。

不得不说，现在做个实验真不容易啊，只要和深度学习相关，数据量就特别大，而python，nautilus这些看似很成熟的program也有这么不省心的地方，真是心累啊。