提到python,很多人的第一直觉大概就是爬虫和网络相关。然而最近使用python2.7 urllib2和request的时候却无意中发现可能存在严重的内存泄漏问题,或者说垃圾回收有问题。stackoverflow了一下,确实有很多人反应了相关的问题,至今还没解决。综合了各种解决方案,最终确定了一种临时的替代方案,在此记录和分享。
用过python进行大量网络请求的童鞋,可能都会发现,当请求达到一定量之后会出现内存问题,无法再进行请求。下面,我们用利用python内置的gc库看一下urllib2和request请求过后的内存回收情况。 import gc, urllib, urllib2, requests def get_unreachable_memory_len(): # check memory on memory leaks gc.set_debug(gc.DEBUG_SAVEALL) gc.collect() unreachableL = [] for it in gc.garbage: unreachableL.append(it) print str(unreachableL) return len(str(unreachableL)) def request_with_urllib2(url): resp = urllib2.urlopen(url) return resp.read() def request_with_requests(url): resp = requests.get(url) return resp.content
启动python,先调用一下get_unreachable_memory_len()看一下当前有没有内存泄露:
返回是为空,证明没有memory leak.
运行request_with_urllib2('http://www.ah.xinhuanet.com/titlepic/1117418255_1449717108394_title1n.jpg')之后我们拿到了长度为41536的胡歌歌的照片:
但不幸的是,我们看内存:
由于网络请求没有被正确回收,导致内存出现了一定的泄露,这部分泄露是response中没有被处理的部分。
同理我们再试一下request_with_requests('http://www.ah.xinhuanet.com/titlepic/1117418255_1449717108394_title1n.jpg')
同样,在进行requests.get后,内存回收也出现了问题。
在若干次实验后,终于找到了较为理想的解决方案,也就是暂时用urllib+contextlib.closing的组合进行临时替代。这样可以在不换掉python2.7的条件下,实现不伤害内存的网络请求。 from contextlib import closing def url_request(url): # request without memory leak res = None with closing(urllib.urlopen(url)) as resp: res = resp.read() return res
同样的方法,我们来试一下这种方案。(注意此处要重启一个新的python shell测试哦~) get_unreachable_memory_len() url_request('http://www.ah.xinhuanet.com/titlepic/1117418255_1449717108394_title1n.jpg') get_unreachable_memory_len()
从图片中我们可以清楚的看到,通过url_request我们不仅获取了胡歌歌的大图,还完成了完整的response回收,通过gc检查内存也没有任何问题。妥妥的解决~