突破次元壁障，Python爬虫获取二次元女友(2)

---

使用requests库请求网页内容，使用BeautifulSoup4解析网页，最后使用PIL库将webp格式的图片转化为更为常见的png格式图片。

观察网页结构

首先选择想要获取的图片类型，这里已女孩子为例，当然大家也可以选择生活或者脚掌，甚至是男孩子。

进入女孩子标签页面，观察页面链接，爬取多个页面，查看第2页链接为：

https://www.huashi6.com/tags/161?p=2

第3页链接为：

https://www.huashi6.com/tags/161?p=3

可以看出，不同页面网址仅改变了页面数字，因此可以构造如下模式，并使用循环，爬取所有页面：

url_pattern = “https://www.huashi6.com/tags/161?p={}”

for i in range(1, 20):

url = url_pattern.format(i)

接下来，在爬取网页前，使用浏览器“开发者工具”，观察网页结构。首先尝试定位图片元素：

于是自然想到使用find_all语法获取所有class=‘v-lazy-img v-lazy-image-loaded’的标签：

img_url = soup.find_all(‘img’, attr={‘class’: ‘v-lazy-img v-lazy-image-loaded’})

但是发现并未成功获取，于是经过进一步探索发现，其图片信息是在script元素中动态加载的：

需要注意的是，在请求页面时，可以在构造请求头时，添加'Cookie'键值，但是没有此键值也能够运行。

headers = {

‘User-Agent’:‘Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0’,

根据自己的情况修改Cookie值

#‘Cookie’:‘’

}

url_pattern = “https://www.huashi6.com/tags/161”

response = requests.get(url=url, headers=headers)

页面解析

---

使用beautifulsoup解析页面，获取JS中所需数据：

results = soup.find_all(‘script’)[1]

为了能够使用re解析获取内容，需要将内容转换为字符串：

image_dirty = str(results)

接下来构造正则表达式获取图片地址：

pattern = re.compile(item, re.I|re.M)

然后查找所有的图片地址：

result_list = pattern.findall(image_dirty)

为了方便获取所需字段，构造解析函数

def analysis(item,results):

pattern = re.compile(item, re.I|re.M)

result_list = pattern.findall(results)

return result_list

打印获取的图片地址：

urls = analysis(r’“path”:“(.*?)”', image_dirty)

urls[0:1]

发现一堆奇怪的字符：

‘images\u002Fresource\u002F2021\u002F06\u002F20\u002F906h89635p0.jpg’,

这是由于网页编码的原因造成的，由于一开始使用utf-8方式解码网页，并不能解码Unicode：

response.encoding = ‘utf-8’

response.raise_for_status()

soup = BeautifulSoup(response.text, ‘html.parser’)

因此虽然可以通过以下方式获取原始地址：

url = ‘images\u002Fresource\u002F2021\u002F05\u002F22\u002F90h013034p0.jpg’

decodeunichars = url.encode(‘utf-8’).decode(‘unicode-escape’)

但是我们可以通过response.encoding = 'unicode-escape'进行更简单的解码，缺点是网页的许多中文字符会变成乱码，但是字不重要不是么？看图！

创建图片保存路径

为了下载图片，首先创建图片保存路径：

创建图片保存路径

if not os.path.exists(webp_file):

os.makedirs(webp_file, exist_ok=True)

if not os.path.exists(png_file):

os.makedirs(png_file, exist_ok=True)

图片下载

当我们使用另存为选项时，发现格式为webp，但是上述获取的图片地址为jpg或png，如果直接存储为jpg或png格式，会导致格式错误。

因此需要重新构建webp格式的文件名：

name = img.split(‘/’)[-1]

name = name.split(‘.’)[0]

name_webp = name + ‘.webp’

由于获取的图片地址并不完整，需要添加网站主页来构建图片地址：

from urllib.request import urljoin

domain = ‘https://img2.huashi6.com’

img_url = urljoin(domain,img)

接下来就是下载图片了：

r = requests.get(img_url,headers=headers)

if r.status_code == 200:

with open(name_webp, ‘wb’) as f:

f.write(r.content)

格式转换

最后，由于得到的图片是webp格式的，如果希望得到更加常见的png格式，需要使用PIL库进行转换：

image_wepb = Image.open(name_webp)
文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！