python读取url并存成图片_Python3直接爬取图片URL并保存示例

本文介绍了一个Python3爬虫示例,用于从网络上获取图片URL并将其保存为图片。通过读取URL文件,利用urllib.request模块进行HTTP请求,设置User-Agent和Cookie,将响应内容写入本地文件,实现图片下载。还涉及到了异常处理和重试机制,以及使用修饰器对函数计时。
摘要由CSDN通过智能技术生成

Python3直接爬取图片URL并保存示例

发布时间:2020-08-28 05:14:08

来源:脚本之家

阅读:71

有时候我们会需要从网络上爬取一些图片,来满足我们形形色色直至不可描述的需求。

一个典型的简单爬虫项目步骤包括两步:获取网页地址和提取保存数据。

这里是一个简单的从图片url收集图片的例子,可以成为一个小小的开始。

获取地址

这些图片的URL可能是连续变化的,如从001递增到099,这种情况可以在程序中将共同的前面部分截取,再在最后递增并字符串化后循环即可。

抑或是它们的URL都保存在某个文件中,这时可以读取到列表中:

def getUrls(path):

urls = []

with open(path,'r') as f:

for line in f:

urls.append(line.strip('\n'))

return(urls)

保存图片

在python3中,urllib提供了一系列用于操作URL的功能,其中的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应。具体细节请看注释:

def requestImg(url, name, num_retries=3):

img_src = url

# print(img_src)

header = {

'User-Agent': 'Mozilla/5.0 (

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值