python强制释放内存_强制Python释放对象以释放内存

我运行以下代码：from myUtilities import myObject

for year in range(2006,2015):

front = 'D:\\newFilings\\'

back = '\\*\\dirTYPE\\*.sgml'

path = front + str(year) + back

sgmlFilings = glob.glob(path)

for each in sgmlFilings:

header = myObject(each)

try:

tagged = header.process_tagged('G:')

except Exception as e:

outref = open('D:\\ProblemFiles.txt','a')

outref.write(each '\n')

outref.close()

print each

如果从重新启动开始，python的内存分配/消耗相当小。随着时间的推移，虽然它会显著增加，但最终大约一天之后，我的可用内存非常少(已安装24GB[294 mb free 23960 cached])，Python在Windows任务管理器列表中声明的内存是3GB。我正看着这三天的增长，它需要对文件集合运行代码。

我的印象是，既然我和tagged = header.process_tagged('G:')

与每个循环相关联的内存将被释放并垃圾回收。

我能做些什么来释放这种记忆吗。虽然我还没有运行统计数据，但通过观察磁盘上的活动可以看出，随着时间的推移(内存块变大)，进程会变慢

编辑

我看了下面提到的问题，我不认为这些问题与我在另一个问题中理解的问题是，它们抓住了对象(三角形列表)，需要整个列表进行计算。在每个循环中，我读取一个文件，对该文件执行一些处理，然后将其写回磁盘。然后我在读下一个文件。

关于可能的内存泄漏，我在myObject中使用LXML

注意，自从这个问题的第一次迭代以来，我添加了MyUtilities import myObject中的行。MyUtilities保存执行所有操作的代码

关于发布我的myUtilities代码-这远离了基本问题-我已经完成了头和标记，在每次迭代后标记完成了工作，并将结果写入另一个驱动器，实际上是一个新格式化的驱动器。

我研究了使用多处理，但我没有，因为一个模糊的想法，因为这是如此的I/O密集，我会竞争驱动器头-也许这是错误的，但由于每次迭代需要我写几百MB的文件，我想我会竞争写，甚至读时间。

更新-所以我在myObjectclass中有一个案例，其中一个文件是用

myString = open(somefile).read()

我改成了

with open(somefile,'r') as fHandle:` myString = fHandle.read()`

(抱歉格式化-仍在挣扎)

然而，这并没有明显的影响，当我开始一个新的循环时，我有4000MB的缓存，经过22分钟和27K文件的处理，我有大约26000MB的缓存。

我很欣赏下面所有的答案和评论，并且整天都在阅读和测试各种各样的东西。我会更新这个，因为我认为这项任务需要一个星期，现在看来可能需要一个多月。

我一直在问其他代码的问题。但是，它有800多条线路，对我来说，这样就远离了中心问题

所以创建了一个myObject实例

然后我们将myObject中包含的方法应用于header

这基本上就是文件转换。文件被读入，部分文件的拷贝被制作并写入磁盘。

我的核心问题是，很明显，在标题或标记时存在一些持久性。如何在开始下一个循环之前处理与标题或标记相关的所有内容。

我已经运行代码14个小时左右了。当它经历第一个周期时，处理27K个文件大约需要22分钟，而现在处理大约相同的数字则需要一个半小时。

只是运行gc.collect不起作用。我停止了程序，并在解释器中尝试了这一点，我看到内存统计数据没有任何变化。

从下面阅读memoryallocator描述后编辑我认为缓存中的绑定量不是问题-它是由运行的python进程绑定的量。所以新的测试是从命令行运行代码。我将继续观察和监测，并将张贴更多的，一旦我看到发生了什么。

编辑：仍在挣扎，但已将代码设置为从bat文件运行，其中包含来自sgmlFilings(见上文)循环的数据批处理文件如下所示python batch.py

python batch.py

.

.

.

py首先读取一个队列文件，该文件有一个要全局处理的目录列表，从列表中取出第一个，更新列表并保存它，然后运行header和tagged进程。很笨拙，但由于python.exe在每次迭代后都会关闭，因此python不会累积内存，因此进程以一致的速度运行。