Python
Python开发
Python语言
python爬取优美图库海量图片,附加代码,一键爬取
优美高清图片为大家提供高清美女套图赏析,非高清不录入,大家的网速要给力。
今天教大家爬取优美图库网站中高质量的图片!!
简单易上手哦~
使用工具:
Python 3.6
pycharm
相关环境:
requests
parsel
xpath
主要内容:
1、系统分析目标网页
2、html标签数据解析方法(xpath)
3、海量图片数据一键保存
爬虫的一般思路:
1、确定爬取的url路径,headers参数
2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
3、析数据 -- parsel 转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理
4、保存数据
代码如下:
importrequestsimportparsel#1、确定爬取的url路径,headers参数
base_url = 'https://www.umei.cc/meinvtupian/meinvxiezhen/'headers= {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}#2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
response = requests.get(base_url, headers=headers)
response.encoding= response.apparent_encoding #自动识别响应对象的编码
html =response.text#print(html)
#3、解析数据 -- parsel 转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理#3、1 转换数据类型
parse =parsel.Selector(html)#3、2 解析数据
href_list = parse.xpath('//div[@class="TypeList"]/ul/li/a/@href').extract()#print(href_list)
for href inhref_list:#print(href)
#再次发送图片请求
href_data = requests.get(href, headers=headers).text#解析图片数据
img =parsel.Selector(href_data)
img_src= img.xpath('//div[@class="ImageBody"]/p/a/img/@src').extract_first()#print(img_src)
#发送图片的url
img_data = requests.get(img_src, headers=headers).content#4、保存数据
#1、准备文件名
file_name = img_src.split('/')[-1]#print(file_name)
#3、保存文件
with open('img\' + file_name, 'wb') as f:print('正在保存文件:{}'.format(file_name))
f.write(img_data)
效果如下:
如果你处于想学Python或者正在学习Python,Python的教程不少了吧,但是是最新的吗?说不定你学了可能是两年前人家就学过的内容,在这小编分享一波2020最新的Python教程。获取方式,私信小编 “ 资料 ”,即可免费获取哦!
内容来源于网络,如有侵权请联系客服删除