在Python 2.7.6和Linux Mint 17上运行的脚本在抓取网页时，内存占用不断增加，即使对象没有引用也未释放。尝试设置对象为None、使用del关键字及调用gc.collect()都无法解决问题。Scrape对象及其子对象可能存在引用泄露，导致垃圾回收器无法清理。目前怀疑子对象的某些引用阻止了主Scrape对象的释放，或者Python本身存在内存管理问题。
我有一个python脚本，它可以抓取一些url。我有一个url列表，对于每个url，我得到html并用它做一些逻辑。在
我使用Python2.7.6和LinuxMint17肉桂64位。在
问题我的主要抓取对象(我为每个url实例)从未从内存中释放，尽管没有对它的引用。有了这个问题，我的记忆就一直在快速增长(因为我的对象有时非常大，高达50MB)。在
简化代码如下所示：def scrape_url(url):
"""
Simple helper method for scraping url
:param url: url for scraping
:return: some result
"""
scraper = Scraper(url) # instance main Scrape object
result = scraper.scrape() # scrape it
return result
## SCRIPT STARTS HERE
urls = get_urls() # fetch some list of urls
for url in urls:
print 'MEMORY USAGE BEFORE SCRAPE: %s (kb)' % resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
result = scrape_url(url) # call helper method for scraping
print 'MEMORY USAGE AFTER SCRAPE: %s (kb)' % resource.getrusa
最低0.47元/天 解锁文章
3835
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
