Python爬虫，超简单地实现一键提取原画

xpath–简单的爬虫实例–提取原画壁纸

一、前言

原画制作的那是相当地精细，闲暇之余，用几行简单的代码爬取下来，岂不美哉？

二、需要用到的库

import requests
from lxml import etree
from fake_useragent import UserAgent
import os

没用安装库的小伙伴，可以看一下我之前写的这篇文章，里面有很多国内源的链接，方便你的下载。

传送门

三、实现过程

1、分析网页

首先打开官网，官网传送门，点击“视听中心”里面的“原画壁纸”

进入到原画壁纸页面后，选择一个壁纸，进行检查。

我发现，对于不同的分辨率，有不同的链接对应，而我检查的这张图有六个分辨率，是不是所有的图片都是这样呢？
后来我发现，并不是！

如上所示，有个图甚至只有四个分辨率，并且，每张图的分辨率的位置对应还不一致，那该怎么提取原画链接呢？

A：利用xpath，根据文本内容提取节点

a = lists[i].xpath('./div/div/a[contains(text(), "1920x1080")]')[0]

这样就能提取到分辨率为“1920x1080”的a节点了。

Q：lists[i]是什么？
A：看了完整代码就知道了。

2、完整代码实现

import requests
from lxml import etree
from fake_useragent import UserAgent
import os

path = 'D:/阴阳师'
if not os.path.exists(path):
    os.mkdir(path)

# 随机产生请求头
ua = UserAgent(verify_ssl=False, path='fake_useragent.json')

url = 'https://yys.163.com/media/picture.html'  # 原画壁纸的页面链接
response = requests.get(url=url).text
html = etree.HTML(response)
lists = html.xpath('/html/body/div[2]/div[3]/div[1]/div[3]/div[2]/div')
num = 1
for i in range(len(lists)):
    a = lists[i].xpath('./div/div/a[contains(text(), "1920x1080")]')[0]  # 根据文本内容锁定节点a
    image_url = a.xpath('./@href')[0]  # 获取原画壁纸链接
    image_data = requests.get(url=image_url).content
    image_name = '{}.jpg'.format(num)  # 给每张图片命名
    save_path = path + '/' + image_name  # 图片的保存地址
    with open(save_path, 'wb') as f:
        f.write(image_data)
        print(image_name, '=======================>下载成功！！！')
        f.close()
        num += 1

运行结果如下：

四、合成视频

通过合成视频，可以慢慢欣赏爬取下来的原画，舒服极了。

代码如下：

import cv2
import os

# 输出视频的保存路径
video_dir = 'D:/yinyangshi/result.mp4'
# 帧率
fps = 0.2
# 图片尺寸
img_size = (1920, 1080)

fourcc = cv2.VideoWriter_fourcc('M', 'P', '4', 'V')  # opencv3.0 mp4会有警告但可以播放
videoWriter = cv2.VideoWriter(video_dir, fourcc, fps, img_size)
img_files = os.listdir('D:/yinyangshi/')

for i in range(1, 397):
    img_path = 'D:/yinyangshi/tupian/' + '{}.jpg'.format(i)
    frame = cv2.imread(img_path)
    frame = cv2.resize(frame, img_size)   # 生成视频   图片尺寸和设定尺寸相同
    videoWriter.write(frame)      # 写进视频里
    print(f'======== 按照视频顺序第{i}张图片合进视频 ========')

videoWriter.release()   # 释放资源

注意：合成视频时，图片的保存路径和视频的生成路径不能包含中文！！！

哔哩哔哩链接：https://www.bilibili.com/video/BV1Kp4y1W7yB

阴阳师原画合集