Python爬虫：用Scrapy框架爬取漫画

comics_url_list = []

base = ‘http://www.xeall.com’

for tag_a in com_a_list:

url = base + tag_a[‘href’]

comics_url_list.append(url)

此时comics_url_list数组即包含当前页每部漫画的url。

下一页列表

看到列表下方的选择页控件，我们可以通过这个地方来获取到下一页的url。

3.jpg

获取选择页标签中，所有包含href属性的a标签

page_tag = soup.find(‘ul’, class_=‘pagelist’)

page_a_list = page_tag.find_all(‘a’, attrs={‘href’: True})

这部分源码如下图，可看到，所有的a标签中，倒数第一个代表末页的url，倒数第二个代表下一页的url，因此，我们可以通过取page_a_list数组中倒数第二个元素来获取到下一页的url。

5.jpg

但这里需要注意的是，若当前为最后一页时，不需要再取下一页。那么如何判断当前页是否是最后一页呢？

可以通过select控件来判断。通过源码可以判断，当前页对应的option标签会具有selected属性，下图为当前页为第一页

4.jpg

下图为当前页为最后一页

6.jpg

通过当前页数与最后一页页数做对比，若相同则说明当前页为最后一页。

select_tag = soup.find(‘select’, attrs={‘name’: ‘sldd’})

option_list = select_tag.find_all(‘option’)

last_option = option_list[-1]

current_option = select_tag.find(‘option’ ,attrs={‘selected’: True})

is_last = (last_option.string == current_option.string)

当前不为最后一页，则继续对下一页做相同的处理，请求依然通过回调parse方法做处理

if not is_last: next_page = ‘http://www.xeall.com/shenshi/’ + page_a_list[-2][‘href’] if next_page is not None: print(‘\n------ parse next page --------’) print(next_page) yield scrapy.Request(next_page, callback=self.parse)

通过同样的方式依次处理每一页，直到所有页处理完成。

爬取漫画图片

在parse方法中提取到当前页的所有漫画url时，就可以开始对每部漫画进行处理。

在获取到comics_url_list数组的下方加上下面代码：

for url in comics_url_list:

yield scrapy.Request(url=url, callback=self.comics_parse)

对每部漫画的url进行请求，回调处理方法为self.comics_parse，comics_parse方法用来处理每部漫画，下面为具体实现。

当前页图片

首相将请求返回的源码构造一个BeautifulSoup，和前面基本一致

def comics_parse(self, response): content = response.body; soup = BeautifulSoup(content, “html5lib”)

提取选择页控件标签，页面显示和源码如下所示

7.jpg

8.jpg

提取class为pagelist的ul标签

page_list_tag = soup.find(‘ul’, class_=‘pagelist’)

查看源码可以看到当前页的li标签的class属性thisclass，以此获取到当前页页数

current_li = page_list_tag.find(‘li’, class_=‘thisclass’)

page_num = current_li.a.string

当前页图片的标签和对应源码

9.jpg

10.jpg

获取当前页图片的url，以及漫画的标题。漫画标题之后用来作为存储对应漫画的文件夹名称。

li_tag = soup.find(‘li’, id=‘imgshow’)

img_tag = li_tag.find(‘img’)

img_url = img_tag[‘src’]

title = img_tag[‘alt’]

保存到本地

当提取到图片url时，便可通过url请求图片并保存到本地

self.save_img(page_num, title, img_url)

定义了一个专门用来保存图片的方法save_img，具体完整实现如下

先导入库

import os

import urllib

import zlib

def save_img(self, img_mun, title, img_url):

将图片保存到本地

self.log('saving pic: ’ + img_url)

保存漫画的文件夹

document = ‘/Users/moshuqi/Desktop/cartoon’

每部漫画的文件名以标题命名

comics_path = document + ‘/’ + title

exists = os.path.exists(comics_path)

if not exists:

self.log('create document: ’ + title)

os.makedirs(comics_path)

每张图片以页数命名

pic_name = comics_path + ‘/’ + img_mun + ‘.jpg’

检查图片是否已经下载到本地，若存在则不再重新下载

exists = os.path.exists(pic_name)

if exists:

self.log('pic exists: ’ + pic_name)

return

try:

user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)’

headers = { ‘User-Agent’ : user_agent }

req = urllib.request.Request(img_url, headers=headers)

response = urllib.request.urlopen(req, timeout=30)

请求返回到的数据

data = response.read()

若返回数据为压缩数据需要先进行解压

if response.info().get(‘Content-Encoding’) == ‘gzip’:

data = zlib.decompress(data, 16 + zlib.MAX_WBITS)

图片保存到本地

fp = open(pic_name, “wb”)

fp.write(data)

fp.close

self.log(‘save image finished:’ + pic_name)

except Exception as e:

self.log(‘save image error.’)

self.log(e)

函数主要用到3个参数，当前图片的页数，漫画的名称，图片的url。

图片会保存在以漫画名称命名的文件夹中，若不存在对应文件夹，则创建一个，一般在获取第一张图时需要自主创建一个文件夹。

document为本地指定的文件夹，可自定义。

每张图片以页数.jpg的格式命名，若本地已存在同名图片则不再进行重新下载，一般用在反复开始任务的情况下进行判断以避免对已存在图片进行重复请求。

请求返回的图片数据是被压缩过的，可以通过response.info().get('Content-Encoding')的类型来进行判断。压缩过的图片要先经过zlib.decompress解压再保存到本地，否则图片打不开。

大体实现思路如上，代码中也附上注释了。

下一页图片

和在漫画列表界面中的处理方式类似，在漫画页面中我们也需要不断获取下一页的图片，不断的遍历直至最后一页。

11.jpg

当下一页标签的href属性为#时为漫画的最后一页

a_tag_list = page_list_tag.find_all(‘a’)

next_page = a_tag_list[-1][‘href’]

if next_page == ‘#’:

self.log(‘parse comics:’ + title + ‘finished.’)

else:

next_page = ‘http://www.xeall.com/shenshi/’ + next_page

yield scrapy.Request(next_page, callback=self.comics_parse)

若当前为最后一页，则该部漫画遍历完成，否则继续通过相同方式处理下一页

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

Z3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-q76KVD2i-1710878596066)]