Python Requests库爬取某网站图片

Python Requests库爬取某网站图片

放假在家无聊，浏览网站时发现一个图片网站，上面有好看的小姐姐，图片尺寸大小也是比较高清，就想着写个简单的爬虫把图片抓下来。
主要用到了requests库下面简单说一下过程。

检查网站是否有反爬

这里我我们先使用最常用的“request.get()”方法去请求一下这个网站，看能否得到html对象，代码如下：

import requests

header1 = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/97.0.4692.99 Safari/537.36'}
res = requests.get('http://www.xxxxxxxx.com/forum-43-2.html', headers=header1) # 这里对网站做了屏蔽
html = res.text
print(html)

简单运行之后发现能得到html结果，说明用这个头去请求可以得到网站的响应，之后所有请求均使用该头文件。
头文件的获取可以在浏览器的开发者选项中找到，我用的是Chrome浏览器，打开这里的User Agent就能得到该头文件，能让脚本以浏览器的形式去请求网站服务器，否则默认的请求是requests库。如果网站有反爬可以使用代理IP来进行爬取。

找到图片位置

在得到网站的返回之后，我们就需要去找到图片的位置，在Chrome中右击检查，可以得到该图片在html源码中的标签位置，我们复制这个标签，使用re库的findall方法构造一个简单的正则表达式来匹配我们所需要的图片源地址，代码如下：

URL_list = re.findall('<a href="(.*?)"  οnclick=".*?" title=".*?" class="z"', html)
print(URL_list)

我们把要匹配得到的地址用（）匹配一下，其余不需加（）。
打印之后发现匹配得到的元素需要加上网站地址才能构成完整的图片源地址，只需构造新列表即可。
这样我们就的到了每一张图片的源地址。

LIST_PIC_URL = []
for url in pic_url_list:
    pic_url_list[i] = URL_Header + pic_url_list[i