Python爬虫---爬取腾讯动漫全站漫画

本文链接：https://blog.csdn.net/chenchen5152/article/details/117602871

Python爬虫---爬取腾讯动漫全站漫画

操作环境
网页分析
编写代码
完整代码

操作环境

编译器：pycharm社区版
python 版本：anaconda python3.7.4
浏览器选择：Google浏览器
需要用到的第三方模块：requests , lxml , selenium , time , bs4,os

网页分析

明确目标

首先我们打开腾讯动漫首页，分析要抓取的目标漫画。

找到腾讯动漫的漫画目录页，简单看了一下目录，发现全站的漫画数量超过了三千部（感觉就是爬下来也会把内存撑爆）在这里插入图片描述

于是我觉得爬取首页的推荐漫画会是一个比较好的选择（爬取全站漫画只需要稍稍改一下网址构造就可以做到了）在这里插入图片描述

提取漫画地址

选定了对象之后，就应该想办法来搞到漫画的地址了
右击检查元素，粗略看一遍网页的源代码，这时我发现里面有很多连续的

标签，我猜测每部漫画的地址信息就存储在这些标签里面
在这里插入图片描述
随便打开一个《li》标签，点击里面包裹的链接地址会跳转到一个新的网页，这个网页正是我想要找的漫画地址，可以见得我的猜测是正确的，等到实际操作的时候再用表达式提取信息就非常容易了。

提取漫画章节地址

进入漫画的目录页，发现一页最多可以展示20章的漫画目录，要想更换显示还需要点击章节名上面的选项卡来显示其他章节的地址
在这里插入图片描述
接下来就需要我们来检查网页元素想办法来获取章节地址了，同样右击检查元素

在看到了源代码后，我发现了一个非常惊喜的事情，这个源码里面包含这所有的章节链接，而不是通过动态加载来展示的，这就省去了我们提取其他章节链接的功夫，只需要花心思提取漫画图片就可以了。
在这里插入图片描述
这里每个《p》标签下包含了五个《a》标签，每个《li》标签下包含了四个《p》标签，而每个漫画的链接就存在每个《a》标签中，可以轻松通过语法来提取到每页的链接信息

提取漫画图片

怎么将漫画的图片地址提取出来并保存到本地，这是这个代码的难点和核心

先是打开漫画，这个漫画页应该是被加上了某些措施，所以它没办法使用右键查看网页源代码，但是使用快捷键[ctrl + shift +i]是可以看到的
在这里插入图片描述
按下[ctrl + shift + i],检查元素
通过第一次检查，可以发现网页的元素中只有前几张图片的地址信息，后面的信息都为后缀.gif的文件表示，这些gif文件就是图片的加载动画接着向下滑动到底部，等待图片全部显示出来再次检查元素在这里插入图片描述
现在所有的漫画图片全部显示出来，下方并无.gif 的文件，由此可知，腾讯动漫是以js异步加载来显示图片的，要想获取页面的全部图片，就必须要滑动滚动条，将全部的图片加载完成再进行提取，这里我选择selenium模块和chromedriver来帮助我完成这些操作。下面开始进行代码的编写。

编写代码

导入需要的模块

import requests
from lxml import etree
from selenium import webdriver     #selenium模拟操作
from time import sleep
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options        #谷歌无头浏览器
import os

获取漫画地址

这里我使用的是xpath提取漫画地址信息，在谷歌浏览器中使用xpath helper插件辅助编写xpath表达式
在这里插入图片描述

#打开腾讯动漫首页
url = 'https://ac.qq.com/'
#给网页发送请求
data = requests.get(url).text
#将网页信息转换成xpath可识别的类型
html = etree.HTML(data)
#提取到每个漫画的目录页地址
comic_list = html.xpath('//a[@class="in-rank-name"]/@href')
print(comic_list)

print一下输出的comic_list,提取成功
在这里插入图片描述

提取漫画的内容页

内容页的提取也很简单，就像上面的分析一样，使用简单的xpath语法即可提取在这里插入图片描述
然后我们再将漫画的名字提取出来，方便为保存的文件夹命名

#遍历提取到的信息
for comic in comic_list:
    #拼接成为漫画目录页的网址
    comic_url = url + str(comic)
    #从漫画目录页提取信息
    url_data = requests.get(comic_url).text
    #准备用xpath语法提取信息
    data_comic = etree.HTML(url_data)
    #提取漫画名--text（）为提取文本内容
    name_comic = data_comic.xpath("//h2[@class='works-intro-title ui-left']/strong/text()")
    #提取该漫画每一页的地址
    item_list = data_comic.xpath("//span[@class='works-chapter-item']/a/@href")
    print(name_comic)
    print(item_list)