上面的是我们核心代码中主函数调用的模块,我们只需要在后台中输入我们需要看的漫画的id值就可以对我们的漫画的内容进行相关的爬取,获得我们的jpg图片,针对每一章的图片我们会创建一个文件夹用于相关存放。
具体生成的文件夹如下: (此处为我输入不同编号生成的文件夹目录名称)
针对208670编号文件夹下子文件夹如下 (每一话我们单独设立了一个文件夹)
打开每一个子文件我们就可以看到所有的漫画的生成图片。针对于上面的图片形式,我们准备了两份漫画py文件,一个将漫画的图片进行拼接整体合成一个jpg图片,一个是不对图片进行拼接,将所有的图片存放在一个文件夹中。
对比图如下:
左处为未进行拼接的代码结果,右处为进行了代码拼接后的代码结果。
针对于代码的封装上,我们仅需要修改文件的默认存储路径。
将base_folder的位置修改为我们想要的存储的位置即可。
参考代码如下: (仅供学习,请不要用于商业用途)
1. 合并图片代码
from PIL import Image
import requests
import parsel
import os
import io
base_folder = r"D:\服务外包\爬虫\爬虫抓取漫画\comic"
def download_comic(comic_id):
# 漫画网址
url = f'https://www.mkzhan.com/{comic_id}/'
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67',
}
# 向漫画网址发送请求
resp = requests.get(url, headers=headers)
# 解析数据,处理网页源代码
selector = parsel.Selector(resp.text)
# 获取漫画名称
comic_name = selector.css('title::text').get().strip()
print(comic_name)
# 创建漫画文件夹
comic_folder = f"{base_folder}\\{comic_id}-{comic_name}"
if not os.path.exists(comic_folder):
os.makedirs(comic_folder)
# 通过Selector对象来选择源代码中的特定元素
li_list = selector.css('.chapter__list-box li')
if not li_list:
print('漫画已下架,无法爬取')
return
# 通过for循环遍历 并且进行了排序 从第一话开始
for li in list(reversed(li_list[2:])):
# 拿到章节id
img_id = li.css('a::attr(data-chapterid)').get()
# 拿到章节标题
title = li.css('a::text').get().strip()
if not title:
title = li.css('a::text').getall()[1].strip()
file_name = f'{comic_folder}/{title}'
if not os.path.exists(file_name):
os.mkdir(file_name)
# 章节网址
index_url = 'https://comic.mkzcdn.com/chapter/content/v1/'
# 配置数据参数
data = {
'chapter_id': img_id,
'comic_id': comic_id,
'format': '1',
'quality': '1',
'type': '1',
}
# 向每一章漫画网址发送请求,获取图片数据
json_data = requests.get(index_url, params=data).json()
imgs = json_data['data']['page']
page = 0
chapter_images = [] # 存储当前章节图片的列表
# 拿到图片url地址
for img in imgs:
img_url = img['image']
# 向图片网址发送请求,获取.content数据
img_content = requests.get(img_url).content
chapter_images.append(Image.open(io.BytesIO(img_content))) # 将图片对象存入列表
print(f"下载完成{title},{img_url}")
page += 1
# 合并图片
combined_image = Image.new('RGB', (800, len(chapter_images) * 1200)) # 创建一个新的图片对象
for i, img in enumerate(chapter_images):
combined_image.paste(img, (0, i * 1200)) # 将每个图片对象粘贴到合并的图片对象上
# 保存合并后的图片
combined_image.save(f'{file_name}/combined_page.jpg')
print('图片合并完成')
# 测试函数
if __name__ == '__main__':
print(" | ------------------------- |")
print(" | 欢迎使用漫客栈下载工具! |")
print(" | ========================= |")
print(" | 可以下载单个漫画 |")
print(" | 也可下载多个漫画 |")
print(" | 多个漫画请用逗号隔开 |")
comic_ids = input('请选择漫画ID:')
download_comic(comic_ids)
2.不合并图片代码
#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
import parsel
import os
base_folder = r"D:\服务外包\manga-colorization-v2\comic" ## 漫画存储的文件夹路径
def download_comic(comic_id):
# 漫画网址
url = f'https://www.mkzhan.com/{comic_id}/'
# 请求头
headers = {
'Cookie': '__login_his_sync=0; redirect_url=%2F207622%2F; UM_distinctid=18929cac20955b-0ed238a4d7fd63-7e56547f-1fa400-18929cac20ac70; CNZZDATA1261814609=1457200997-1688620024-%7C1688620024; CNZZDATA1262045698=972920694-1688623264-%7C1688623264; tourist_expires=1; cn_1262045698_dplus=%7B%22distinct_id%22%3A%20%2218929cac20955b-0ed238a4d7fd63-7e56547f-1fa400-18929cac20ac70%22%2C%22%24_sessionid%22%3A%200%2C%22%24_sessionTime%22%3A%201688623310%2C%22%24dp%22%3A%200%2C%22%24_sessionPVTime%22%3A%201688623310%7D',
'referer': 'https://www.mkzhan.com/category/?is_vip=1',
'host': 'www.mkzhan.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67',
}
# 向漫画网址发送请求
resp = requests.get(url, headers=headers)
# 解析数据,处理网页源代码
selector = parsel.Selector(resp.text)
# 获取漫画名称
comic_name = selector.css('title::text').get().strip()
print(comic_name)
# 创建漫画文件夹
comic_folder = f"{base_folder}\\{comic_id}-{comic_name}"
if not os.path.exists(comic_folder):
os.makedirs(comic_folder)
# 通过Selector对象来选择源代码中的特定元素
li_list = selector.css('.chapter__list-box li')
# 通过for循环遍历 并且进行了排序 从第一话开始
for li in list(reversed(li_list[2:])):
# 拿到章节id
img_id = li.css('a::attr(data-chapterid)').get()
# 拿到章节标题
title = li.css('a::text').get().strip()
if not title:
title = li.css('a::text').getall()[1].strip()
file_name = f'{comic_folder}/{title}'
if not os.path.exists(file_name):
os.mkdir(file_name)
# 章节网址
index_url = 'https://comic.mkzcdn.com/chapter/content/v1/'
# 配置数据参数
data = {
'chapter_id': img_id,
'comic_id': comic_id,
'format': '1',
'quality': '1',
'type': '1',
}
# 向每一章漫画网址发送请求,获取图片数据
json_data = requests.get(index_url, params=data).json()
imgs = json_data['data']['page']
page = 0
# 拿到图片url地址
for img in imgs:
img_url = img['image']
# 向图片网址发送请求,获取.content数据
img_content = requests.get(img_url).content
# 打印标题和漫画图片网址
print(title, img_url)
page += 1
# 保存图片到本地文件夹
with open(f"{file_name}/{page}.jpg", 'wb') as f:
f.write(img_content)
# 测试函数
if __name__ == '__main__':
flag = True
while True:
print(" | ------------------------- |")
print(" | 欢迎使用漫客栈下载工具! |")
print(" | ========================= |")
print(" | 可以下载单个漫画 |")
print(" | 也可下载多个漫画 |")
print(" | 多个漫画请用逗号隔开 |")
comic_ids = input('请选择漫画ID:')
download_comic(comic_ids)
代码仅提供学习,无商业用途,侵权联系可删