我运行以下代码:from myUtilities import myObject
for year in range(2006,2015):
front = 'D:\\newFilings\\'
back = '\\*\\dirTYPE\\*.sgml'
path = front + str(year) + back
sgmlFilings = glob.glob(path)
for each in sgmlFilings:
header = myObject(each)
try:
tagged = header.process_tagged('G:')
except Exception as e:
outref = open('D:\\ProblemFiles.txt','a')
outref.write(each '\n')
outref.close()
print each
如果从重新启动开始,python的内存分配/消耗相当小。随着时间的推移,虽然它会显著增加,但最终大约一天之后,我的可用内存非常少(已安装24GB[294 mb free 23960 cached]),Python在Windows任务管理器列表中声明的内存是3GB。我正看着这三天的增长,它需要对文件集合运行代码。
我的印象是,既然我和tagged = header.process_tagged('G:')
与每个循环相关联的内存将被释放并垃圾回收。
我能做些什么来释放这种记忆吗。虽然我还没有运行统计数据,但通过观察磁盘上的活动可以看出,随着时间的推移(内存块变大),进程会变慢
编辑
我看了下面提到的问题,我不认为这些问题与我在另一个问题中理解的问题是,它们抓住了对象(三角形列表),需要整个列表进行计算。在每个循环中,我读取一个文件,对该文件执行一些处理,然后将其写回磁盘。然后我在读下一个文件。
关于可能的内存泄漏,我在myObject中使用LXML
注意,自从这个问题的第一次迭代以来,我添加了MyUtilities import myObject中的行。MyUtilities保存执行所有操作的代码
关于发布我的myUtilities代码-这远离了基本问题-我已经完成了头和标记,在每次迭代后标记完成了工作,并将结果写入另一个驱动器,实际上是一个新格式化的驱动器。
我研究了使用多处理,但我没有,因为一个模糊的想法,因为这是如此的I/O密集,我会竞争驱动器头-也许这是错误的,但由于每次迭代需要我写几百MB的文件,我想我会竞争写,甚至读时间。
更新-所以我在myObjectclass中有一个案例,其中一个文件是用
myString = open(somefile).read()
我改成了
with open(somefile,'r') as fHandle:` myString = fHandle.read()`
(抱歉格式化-仍在挣扎)
然而,这并没有明显的影响,当我开始一个新的循环时,我有4000MB的缓存,经过22分钟和27K文件的处理,我有大约26000MB的缓存。
我很欣赏下面所有的答案和评论,并且整天都在阅读和测试各种各样的东西。我会更新这个,因为我认为这项任务需要一个星期,现在看来可能需要一个多月。
我一直在问其他代码的问题。但是,它有800多条线路,对我来说,这样就远离了中心问题
所以创建了一个myObject实例
然后我们将myObject中包含的方法应用于header
这基本上就是文件转换。文件被读入,部分文件的拷贝被制作并写入磁盘。
我的核心问题是,很明显,在标题或标记时存在一些持久性。如何在开始下一个循环之前处理与标题或标记相关的所有内容。
我已经运行代码14个小时左右了。当它经历第一个周期时,处理27K个文件大约需要22分钟,而现在处理大约相同的数字则需要一个半小时。
只是运行gc.collect不起作用。我停止了程序,并在解释器中尝试了这一点,我看到内存统计数据没有任何变化。
从下面阅读memoryallocator描述后编辑我认为缓存中的绑定量不是问题-它是由运行的python进程绑定的量。所以新的测试是从命令行运行代码。我将继续观察和监测,并将张贴更多的,一旦我看到发生了什么。
编辑:仍在挣扎,但已将代码设置为从bat文件运行,其中包含来自sgmlFilings(见上文)循环的数据批处理文件如下所示python batch.py
python batch.py
.
.
.
py首先读取一个队列文件,该文件有一个要全局处理的目录列表,从列表中取出第一个,更新列表并保存它,然后运行header和tagged进程。很笨拙,但由于python.exe在每次迭代后都会关闭,因此python不会累积内存,因此进程以一致的速度运行。