看漫画学python下载_用 Python 下载漫画

f63f619cb648

ReLIFE

1. 开篇

前一阵子看了 Relife 这部七月番动画,短短 13 集很快就看完,深深无法自拔,然后去查了下,发现原来是改编自漫画的,于是立马去找漫画的资源,但是搜来搜去都没有找到资源下载,虽然有 cncomico 可以提供在线看,但是我比较喜欢下载下来放到手机上看(强迫症),于是就想到可以用 Python 抓取图片下载。

2. 开干

2.1. 分析目标网站

在用 Python 真正抓取数据前,肯定是要先分析我们要获取的数据以及目标网站的内容。

首先打开我们要抓取的目标漫画的内容页:Relife,然后查看其源代码

f63f619cb648

源代码

通过分析源代码,我们可以看到以下内容:

f63f619cb648

其中每个链接都代表一话的链接,并且链接的格式都是 http://www.cncomico.com/detail.nhn?titleNo=1&articleNo=%d&vm=tit_als ;

同时联系到 Relife 的主页 http://www.cncomico.com/articleList.nhn?titleNo=1 ;

因此我们可以得出:每一话的链接为 http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als,其中 titleNo=a&articleNo=b 里的 a 代表一幅�漫画的编号(Relife 为 1),b 代表漫画的章节。

并且可以知道 http://www.cncomico.com/articleList.nhn?titleNo=1 的最上面的话的链接即为最新章;

通过上面我们获取到了每一话的链接,接下来就是到各话的链接去,比如 Relife 136话,同样分析其源代码,我们可以在其源代码中看到以下内容:

f63f619cb648

上面的链接即为漫画中各张图片的链接,接下来的工作就只需要通过这些链接把图片给下载到本地即可。

通过上面的分析,我们整理得出以下的编码结构:

指定要下载的漫画,此处为 Relife ,即 titleNo=1;

�获取要下载的漫画的最新章节;

��通过上面得到的链接规则:http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als,从第1话循环下载到最新话。

2.2. 编码

首先,设置要下载的漫画的 titleNo,并且按每话的链接规则构建出通用链接

titleNo = 1;

base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'

获取最新的章节

# 获取最新章节

def get_last_chapter(titleNo):

page_link = 'http://www.cncomico.com/articleList.nhn?titleNo=' + str(titleNo)

rsp = req.get(page_link)

rsp.encoding = 'utf-8'

text = rsp.text

chapter_links = re.findall('"((http)s?://.*?(&vm=tit_als))"', text)

last_chapter_link = chapter_links[0][0]

last_chapter_num = int(re.findall("articleNo=(.+?)&vm=tit_als", last_chapter_link)[0])

return last_chapter_num

获取每一章节的图片链接

# 获取特定章节的内容

def get_chapter_data(chapter_url):

rsp = req.get(chapter_url)

rsp.encoding = 'utf-8'

text = rsp.text

image_data = re.findall('"((http)s?://comicimg.*?(jpg))"', text)

image_links = []

for item in image_data:

image_links.append(item[0])

return image_links;

根据图片链接下载所有的图片

# 下载指定链接内容

def download_files(urls, dir_path):

if os.path.exists(dir_path) == False:

os.makedirs(dir_path)

for idx, link in enumerate(urls):

book_name = link.split('/')[-1]

full_name = dir_path + book_name

if os.path.isfile(full_name) == False:

r = req.get(link, stream=True)

with open(full_name, 'wb') as f:

for chunk in r.iter_content(chunk_size=1024):

if chunk:

f.write(chunk)

f.flush()

f.close()

print('download ' + book_name + ' finished')

循环下载所有章节(包含主逻辑及用到的库)

import os

import requests as req

from bs4 import BeautifulSoup as bs

import re

titleNo = 1;

base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'

last_chapter = get_last_chapter(titleNo)

for index in range(1, last_chapter + 1):

chapter_url = base_url %(index)

chapter_data = get_chapter_data(chapter_url)

download_files(chapter_data, './relife/chapter' + str(index) + '/')

2.3. 下载

执行以上脚本,待执行完成,在当前目标会**创建一个 relife **的目录,其中包含所有的漫画资源。

3. 结尾

虽然上面的脚本只是下载了 Relife ,但从 cncomico 的源代码来看,完全可以下载全站的所有漫画,主要是 http://www.cncomico.com/articleList.nhn?titleNo=1 中的 titleNo=1,比如 1 是 Relife,2 是 粉爱这一家,按此类推。

4. 相关资源

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值