Python3直接爬取图片URL并保存示例
发布时间:2020-08-28 05:14:08
来源:脚本之家
阅读:71
有时候我们会需要从网络上爬取一些图片,来满足我们形形色色直至不可描述的需求。
一个典型的简单爬虫项目步骤包括两步:获取网页地址和提取保存数据。
这里是一个简单的从图片url收集图片的例子,可以成为一个小小的开始。
获取地址
这些图片的URL可能是连续变化的,如从001递增到099,这种情况可以在程序中将共同的前面部分截取,再在最后递增并字符串化后循环即可。
抑或是它们的URL都保存在某个文件中,这时可以读取到列表中:
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)
保存图片
在python3中,urllib提供了一系列用于操作URL的功能,其中的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应。具体细节请看注释:
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (