通过爬虫对漫客zhan网站爬取

最新推荐文章于 2024-09-10 15:13:21 发布

那谁948

最新推荐文章于 2024-09-10 15:13:21 发布

阅读量302

点赞数 3

文章标签：爬虫 python 学习

本文链接：https://blog.csdn.net/qq_67577190/article/details/136714484

版权

上面的是我们核心代码中主函数调用的模块，我们只需要在后台中输入我们需要看的漫画的id值就可以对我们的漫画的内容进行相关的爬取，获得我们的jpg图片，针对每一章的图片我们会创建一个文件夹用于相关存放。

具体生成的文件夹如下：（此处为我输入不同编号生成的文件夹目录名称）

针对208670编号文件夹下子文件夹如下 （每一话我们单独设立了一个文件夹)

打开每一个子文件我们就可以看到所有的漫画的生成图片。针对于上面的图片形式，我们准备了两份漫画py文件，一个将漫画的图片进行拼接整体合成一个jpg图片，一个是不对图片进行拼接，将所有的图片存放在一个文件夹中。

对比图如下：

左处为未进行拼接的代码结果，右处为进行了代码拼接后的代码结果。

针对于代码的封装上，我们仅需要修改文件的默认存储路径。

将base_folder的位置修改为我们想要的存储的位置即可。

参考代码如下：（仅供学习，请不要用于商业用途）

1. 合并图片代码

from PIL import Image
import requests
import parsel
import os
import io

base_folder = r"D:\服务外包\爬虫\爬虫抓取漫画\comic"

def download_comic(comic_id):
    # 漫画网址
    url = f'https://www.mkzhan.com/{comic_id}/'

    # 请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67',
    }

    # 向漫画网址发送请求
    resp = requests.get(url, headers=headers)

    # 解析数据，处理网页源代码
    selector = parsel.Selector(resp.text)

    # 获取漫画名称
    comic_name = selector.css('title::text').get().strip()

    print(comic_name)

    # 创建漫画文件夹
    comic_folder = f"{base_folder}\\{comic_id}-{comic_name}"
    if not os.path.exists(comic_folder):
        os.makedirs(comic_folder)

    # 通过Selector对象来选择源代码中的特定元素
    li_list = selector.css('.chapter__list-box li')
    if not li_list:
        print('漫画已下架，无法爬取')
        return

    # 通过for循环遍历 并且进行了排序  从第一话开始
    for li in list(reversed(li_list[2:])):
        # 拿到章节id
        img_id = li.css('a::attr(data-chapterid)').get()
        # 拿到章节标题
        title = li.css('a::text').get().strip()

        if not title:
            title = li.css('a::text').getall()[1].strip()

        file_name = f'{comic_folder}/{title}'

        if not os.path.exists(file_name):
            os.mkdir(file_name)

        # 章节网址
        index_url = 'https://comic.mkzcdn.com/chapter/content/v1/'

        # 配置数据参数
        data = {
            'chapter_id': img_id,
            'comic_id': comic_id,
            'format': '1',
            'quality': '1',
            'type': '1',
        }
        # 向每一章漫画网址发送请求，获取图片数据
        json_data = requests.get(index_url, params=data).json()

        imgs = json_data['data']['page']
        page = 0
        chapter_images = []  # 存储当前章节图片的列表
        # 拿到图片url地址
        for img in imgs:
            img_url = img['image']
            # 向图片网址发送请求，获取.content数据
            img_content = requests.get(img_url).content
            chapter_images.append(Image.open(io.BytesIO(img_content)))  # 将图片对象存入列表
            print(f"下载完成{title},{img_url}")
            page += 1

        # 合并图片
        combined_image = Image.new('RGB', (800, len(chapter_images) * 1200))  # 创建一个新的图片对象
        for i, img in enumerate(chapter_images):
            combined_image.paste(img, (0, i * 1200))  # 将每个图片对象粘贴到合并的图片对象上

        # 保存合并后的图片
        combined_image.save(f'{file_name}/combined_page.jpg')
        print('图片合并完成')

# 测试函数

if __name__ == '__main__':
        print("    | ------------------------- |")
        print("    |    欢迎使用漫客栈下载工具！   |")
        print("    | ========================= |")
        print("    |     可以下载单个漫画         |")
        print("    |     也可下载多个漫画         |")
        print("    |    多个漫画请用逗号隔开      |")

        comic_ids = input('请选择漫画ID：')
        download_comic(comic_ids)

2.不合并图片代码

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
import parsel
import os
base_folder = r"D:\服务外包\manga-colorization-v2\comic"   ## 漫画存储的文件夹路径
def download_comic(comic_id):
    # 漫画网址
    url = f'https://www.mkzhan.com/{comic_id}/'

    # 请求头
    headers = {
        'Cookie': '__login_his_sync=0; redirect_url=%2F207622%2F; UM_distinctid=18929cac20955b-0ed238a4d7fd63-7e56547f-1fa400-18929cac20ac70; CNZZDATA1261814609=1457200997-1688620024-%7C1688620024; CNZZDATA1262045698=972920694-1688623264-%7C1688623264; tourist_expires=1; cn_1262045698_dplus=%7B%22distinct_id%22%3A%20%2218929cac20955b-0ed238a4d7fd63-7e56547f-1fa400-18929cac20ac70%22%2C%22%24_sessionid%22%3A%200%2C%22%24_sessionTime%22%3A%201688623310%2C%22%24dp%22%3A%200%2C%22%24_sessionPVTime%22%3A%201688623310%7D',
        'referer': 'https://www.mkzhan.com/category/?is_vip=1',
        'host': 'www.mkzhan.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67',
    }

    # 向漫画网址发送请求
    resp = requests.get(url, headers=headers)

    # 解析数据，处理网页源代码
    selector = parsel.Selector(resp.text)

    # 获取漫画名称
    comic_name = selector.css('title::text').get().strip()

    print(comic_name)

    # 创建漫画文件夹

    comic_folder = f"{base_folder}\\{comic_id}-{comic_name}"
    if not os.path.exists(comic_folder):
        os.makedirs(comic_folder)

    # 通过Selector对象来选择源代码中的特定元素
    li_list = selector.css('.chapter__list-box li')

    # 通过for循环遍历 并且进行了排序  从第一话开始
    for li in list(reversed(li_list[2:])):
        # 拿到章节id
        img_id = li.css('a::attr(data-chapterid)').get()
        # 拿到章节标题
        title = li.css('a::text').get().strip()

        if not title:
            title = li.css('a::text').getall()[1].strip()

        file_name = f'{comic_folder}/{title}'

        if not os.path.exists(file_name):
            os.mkdir(file_name)

        # 章节网址
        index_url = 'https://comic.mkzcdn.com/chapter/content/v1/'

        # 配置数据参数
        data = {
            'chapter_id': img_id,
            'comic_id': comic_id,
            'format': '1',
            'quality': '1',
            'type': '1',
        }
        # 向每一章漫画网址发送请求，获取图片数据

        json_data = requests.get(index_url, params=data).json()

        imgs = json_data['data']['page']
        page = 0
        # 拿到图片url地址
        for img in imgs:
            img_url = img['image']
            # 向图片网址发送请求，获取.content数据
            img_content = requests.get(img_url).content
            # 打印标题和漫画图片网址
            print(title, img_url)

            page += 1
            # 保存图片到本地文件夹
            with open(f"{file_name}/{page}.jpg", 'wb') as f:
                f.write(img_content)

# 测试函数

if __name__ == '__main__':
    flag = True
    while True:
        print("    | ------------------------- |")
        print("    |    欢迎使用漫客栈下载工具！   |")
        print("    | ========================= |")
        print("    |     可以下载单个漫画         |")
        print("    |     也可下载多个漫画         |")
        print("    |    多个漫画请用逗号隔开      |")

        comic_ids = input('请选择漫画ID：')
        download_comic(comic_ids)

代码仅提供学习，无商业用途，侵权联系可删