爬取二次元图片

我一个亲戚的小孩很喜欢二次元，也没事就喜欢画这些二次元的动漫人物，为了精进自己的技术，经常要在网上找自己喜欢的图片做参考，但是每次都很麻烦才能找到合适的图片，而且一次也只能保存一张，为了能有很多的图片素材做参考，他就找到了我，让我帮他家小孩搞一点这类的图片，这就有了今天这个案例。

今天这个案例就是爬取二次元的动漫图片，爬图片的案例之前也讲过不少，可是今天这个案例，看似很简单的网站，实则想找到真正的图片位置，确实一个很复杂的过程，话不多说，我们开始吧。

分析网页

如图分析所示，我们要的图片就在这个网址里面，但是这个网址里面只有很少的一部分图片，我们向下滚动网页，才能出现新的图片，这个很明显就是网站运用了Ajax技术，所以我们可以直接定位到xhr这个图标下。

在xhr图标下，经过我们的查找，定位到了，这个请求下，可以看出这里面才有关于图片的信息，但是这里经过我们查找，里面并没有这个图片的大图，这个里面只有图片的缩略图，我们要找的是图片的大图，所以就必须要进入到每个图片的链接里面去查找，虽然没有大图，但是不代表这里面就没有我们需要的信息，

可以看到，每张图片的链接都是有一个图片自己的id组成的，每个链接的不同，其实就是每张图片链接的id在变化，所以我们先请求出这些图片的链接，获取到每张图片的id，然后在构建每一个图片的链接地址，然后在请求这些地址，我们在进到图片地址里面看看

如图，可以看到，进入到图片链接里面并没有我们看到的图片，那么这图片在哪里呢，我们试着在这些请求里面找一下，加载图片的链接，

这才是真正加载图片的链接地址，那么这个链接地址到底在哪里呢，我们试着拿链接地址里面的一段数据搜索一下

可以很明显的看出包含链接地址的信息就是在主页的源码里面，

虽然在主页的源码里面，但是可以看出这里的标签是script，那也就代表这里面是一段js的代码，要想从这里面准确的找到我们能需要的数据，就需要先把它从js代码里面获取出来，然后在进一步的筛选，这里用到一个我之前介绍过的一个模块chompjs，它可以把看似像json的数据，把它转成真正的字典数据，从而方便我们的查找。剩下的就是找到真正图片的位置，然后给它清洗出来。

现在说一下大体思路，我们先通过api接口拿到每张图片的id，然后把这些id构建成图片的链接地址，请求这些链接地址，获取到每个链接地址的源码信息，通过正则把需要的信息从js代码里面匹配出来，然后通过chompjs这个模块把数据转换成字典数据，从字典数据中筛选出我们要的图片真实地址，最后保存。

案例模块

import httpx
import chompjs
import json
import fuckit
import re
import os
from faker import Faker

构建url列表，然后对url发送请求，获取响应数据

def get_url_list():
    """构建url列表

    Returns:
        _type_: _description_
    """
    return [page_url.format(i) for i in range(1, 2)]

def parse_url(url):
    """发送请求，获取响应数据

    Args:
        url (_type_): _description_

    Returns:
        _type_: _description_
    """
    with httpx.Client() as s:
        r = s.get(url, headers=headers)
        return r.content.decode()

提取每张图片的id数据

def get_img_ids(json_str):
    """提取出每张图片的id

    Args:
        json_str (_type_): _description_

    Yields:
        _type_: _description_
    """
    json_datas = json.loads(json_str)
    for json_data in json_datas.get('data').get('top_list_item_info'):
        # 提取图片id
        yield {'img_id': json_data.get('item_detail').get('item_id')}

提取图片的真实地址

def get_pic_url(html_str):
    """获取图片的真实url地址

    Args:
        html_str (_type_): _description_

    Returns:
        _type_: _description_
    """
    pattern = 'window.__ssr_data = JSON.parse\("(.*?)"\);'
    with fuckit:
        json_str = re.search(pattern, html_str, re.S).group(1).replace('\\', '')
        json_data = chompjs.parse_js_object(json_str)
        img_url_temp = json_data.get('detail').get('post_data').get('multi')[0].get('origin')
        pic_url = re.sub('u002F', '/', img_url_temp)
        return pic_url

保存图片

def down_pic(pic_url):
    """保存图片

    Args:
        pic_url (_type_): _description_
    """
    f = Faker(locale='zh_CN')
    pic_name = f.random_number(digits=8)
    path = os.path.join('cos_img', f'{pic_name}.jpg')
    r = httpx.get(pic_url, headers=headers)
    with open(path, 'wb') as f:
        f.write(r.content)
        print(f'{pic_name}爬取成功......!!!')

实现程序的主要逻辑思路

def main():
    """实现程序的主要逻辑思路
    """
    # 1.构建url列表
    url_list = get_url_list()
    for url in url_list:
        # 2.发送请求，获取响应数据
        json_str = parse_url(url)
        # 3.提取图片id
        img_ids = get_img_ids(json_str)
        for img_id in img_ids:
            # 4.构建图片的链接地址
            img_url = img_url_temp.format(img_id.get('img_id'))
            # 5.对图片链接发送请求
            html_str = parse_url(img_url)
            # 6.提取图片真实的地址
            pic_url = get_pic_url(html_str)
            # 7.保存图片
            down_pic(pic_url)

效果展示