在开发爬虫的时候,图片的爬取我选择了拼接url进入mbasic.**网站,然后根据其中的图片绝对地址爬取,其中最后一步需要用到urllib库。
urllib.urlretrieve('pic_src', './pic_directory')
但是在运行爬虫测试的时候出错了。
AttributeError: module 'urllib' has no attribute 'urlretrieve'
经过查找博客发现问题所在:Python版本不同,有很多库的调用方式不同。
# Python 3+
import urllib.request
res = urllib.request.urlopen(html)
data = urllib.request.urlretrieve("http://...")
# Python 2+
import urllib
res = urllib.urlopen(html)
data = urllib.urlretrieve("http://...")
所以保存图片的代码改为:
urllib.request.urlretrieve('pic_src', './pic_directory')