python爬虫爬取漫画（仅供学习）

项目名： crawl_chuanwu

爬取链接：https://www.manhuadui.com/manhua/chuanwu/

声明：本项目无任何盈利目的，仅供学习使用，也不会对网站运行造成负担。
1. 打开链接后，我们会看到这样的图片

3. 每个章节都是一个link，我们需要获得这些链接，直接右击检查网页源代码，我们能找到每个章节的url,很幸运，这个不是动态网页（ajax:异步 JavaScript 和 XML,一种用于创建快速动态网页的技术）,所以可以用request+pyquery直接进行爬取。代码部分getDir.py

import requests
from pyquery import PyQuery as pq
import pickle


def get_html(url, code="utf-8"):
    try:
        headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                                 "(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = code
        return r.text
    except:
        return ""


def get_dir(html):
    doc = pq(html)
    dirs = doc("div #chapter-list-1 a")
    print((type(dirs.items())))
    lst = []
    for dir in dirs.items():
        lst.append(dir.attr('href'))
    with open("dir_lst.pickle", "wb") as f:
        pickle.dump(lst, f)
        f.close()


def main():
    url = "https://www.manhuadui.com/manhua/chuanwu/"
    html = get_html(url)
    get_dir(html)


if __name__ == "__main__":
    main()

我将下载下来的url通过pickle技术进行文件保存，保存目录为dir_lst.pickle,为后面下载漫画使用

接下来就是直接下载漫画了，首先进入第一话，同样进行右击查看网页源代码，发现找不着漫画图片的url，这时，我们对漫画图片进行右击，检查，很容易发现图片的url，为啥网页源代码没有呢，原因就是这里采用了ajax技术，作为一个新手，我一时难以下手，后来网上查了一下，发现selenium可以解决这种问题。

selenium是什么呢？
Selenium是一个用于Web应用程序测试的工具。 Selenium测试直接运行在浏览器中，
就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla Firefox、Mozilla Suite等。
这个工具的主要功能包括：测试与浏览器的兼容性、测试系统功能，
它是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。详细代码的使用方法可以看相应官网或其他大神博客。

以下是爬取前三章漫画的代码 crawl_comic.py

from pyquery import PyQuery as pq
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.wait import WebDriverWait
import requests
import re
import pickle
import os

"""
本例说明，这是一个爬取漫画堆里的一部叫做传武的漫画，因为selenium模仿浏览器，爬取速度很慢，
所以我只爬取了前3话，依旧很慢，所以仅供初学者进行参考
"""

# 该方法是得到每一话漫画的页数，并返回
def get_page_num(url, driver):
    driver.get(url)
    try:
        WebDriverWait(driver, 30).until(
            EC.presence_of_element_located((By.CLASS_NAME, "img_info"))
        )
    except TimeoutException:
        print(u'加载页面失败')
    html = driver.page_source
    doc = pq(html)
    page_num = doc("#images .img_info").text()[-3:-1]
    return page_num


# 用yield生成器得到一个章节漫画图片的url
def pic_urls(page_num, url, driver):
    for i in range(1, int(page_num)+1):
        new_url = url+"?p="+str(i)
        driver.get(new_url)
        try:
            WebDriverWait(driver, 30).until(
                EC.presence_of_element_located((By.CLASS_NAME, "img_info"))
            )
        except TimeoutException:
            print(u'加载页面失败')
        html = driver.page_source
        doc = pq(html)
        photo_url = doc("#images img ").attr('src')
        yield photo_url


# 对每一章节所有漫画图片的url进行爬取并保存在文件中
def download_photos(url, driver):
    # url = "https://www.manhuadui.com/manhua/chuanwu/224176.html"
    headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                             "(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
    page_num = get_page_num(url, driver)
    chapter = re.findall(r"\d{6}", url)[0]
    chapter = int(chapter) - 224175
    i = 1
    for pic_url in pic_urls(page_num, url, driver):
        if not os.path.exists("传武/第{0}话/".format(chapter)):
            os.makedirs("传武/第{0}话/".format(chapter))
        with open("传武/第{0}话/{1}.jpg".format(chapter, i), "wb") as f:
            print("\r正在下载传武/第{0}话/{1}.jpg".format(chapter, i), end="")
            i += 1
            content = requests.get(pic_url, headers=headers).content
            f.write(content)
            f.close()


# 主函数，前面的方法是爬取一个章节的所有漫画，在这里我们通过更改url得到其它章节的漫画
# 由于这里是顺序结构，爬取速度相对较慢，底子好的人可以用异步方式进行爬取
def main():
    driver = webdriver.Chrome()
    with open("dir_lst.pickle", "rb") as f:
        lst = pickle.load(f)
    # 截取前三章节的url
    dir = lst[0:3]
    url_a = "https://www.manhuadui.com"
    for _ in dir:
        url = url_a + _
        download_photos(url, driver)


if __name__ == "__main__":
    main()

成果：