把指定url文件存到filename中。
def urlretrieve(url, filename=None, reporthook=None, data=None):
global _urlopener
if not _urlopener:
_urlopener = FancyURLopener()
return _urlopener.retrieve(url, filename, reporthook, data)
由上面源码可知,urlretrieve()实际是调用FancyURLopener的retrieve()方法。
def retrieve(self, url, filename=None, reporthook=None, data=None):
"""retrieve(url) 对本地对象返回 (filename, headers)
或对远程对象返回(tempfilename, headers)"""
其实没什么,就是把读open(url)返回的对象,保存到filename中,filename为空时生成一个临时文件。
这里要单说一下reporthook,这是一个回调函数,在连接建立和每次块读取完之后调用一次。
会传入三个参数:
- 到现在传输的块数。
- 每一块的大小。
- 文件总大小。
如果看进度这是很有用的。
下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。
def cbk(a, b, c):
'''回调函数
@a: 已经下载的数据块
@b: 数据块的大小
@c: 远程文件的大小
'''
per = 100.0 * a * b / c
if per > 100:
per = 100
print '%.2f%%' % per
url = 'http://www.sina.com.cn'
local = 'd://sina.html'
urllib.urlretrieve(url, local, cbk)