Python爬取漫画（详细教程）

最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。

一、效果展示

首先是我们想要爬取的漫画网页： http://www.manhuadao.cn/

网页截图：

     其次是爬取下来的效果：

     ![](https://img-blog.csdnimg.cn/img_convert/c86eca45085aeeb6ebe630f5ed7ac290.png)

    每一回的文件夹里面是这样的：  (因为网站图片的问题...所以就成了这个鬼样子)

      ![](https://img-blog.csdnimg.cn/img_convert/836d5503eb33b892b6ea79c3562d6ccd.png)

二、分析原理

 1、准备：需要vscode或者其他能够编译运行python的软件，推荐python版本3.X ，否则有可能出现编译问题。

下载所需模块：win+R 进入命令行， 输入 pip install <模块名> 即可下载。例如：

pip install beautifulsoup4

   2、原理： 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

三、实际操作（代码附在最后）

1、引入模块 （这里不再详述）

2、模拟浏览器访问网页

(1)、 这里我们打开漫画的目录页，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此链接就是目录页链接。

                 ![](https://img2018.cnblogs.com/blog/1769790/201908/1769790-20190815192144415-2081526072.png)

(2)、按F12打开此网页的源码（谷歌浏览器），选中上方NetWork，Ctrl+R刷新。

                 ![](https://img2018.cnblogs.com/blog/1769790/201908/1769790-20190815193118846-1527490915.png)

(3)、找到加载网页的源码文件，点击Headers，如下图： Status Code表示网页返回的代码，值为200时表示访问成功。

(4)、headers中的参数为下面红框User-Agent。

response = requests.get(url=url, headers=headers)  # 模拟访问网页
print(response)  # 此处应输出   <Response \[200\]>
print(response.text)   # 输出网页源码

两个输出分别输出：

输出返回200表示访问成功。

（节选）

(5)、将html代码存入 data 中，xpath定位每一章链接。点击上方Element，点击：

将鼠标移至目录处：

右边代码区域出现每一章链接：

     ![](https://img2018.cnblogs.com/blog/1769790/201908/1769790-20190815210248133-1639770304.png)

data = etree.HTML(response.text)
# tp = data.xpath('//ul\[@class="read-chapter"\]/li/a\[@class="active"\]/@href')
tp = data.xpath('//\*\[@class="yesReader"\]/@href')
zhang\_list = tp   # tp为链接列表

          　　输出zhang\_list，结果如下：

       ![](https://img2018.cnblogs.com/blog/1769790/201908/1769790-20190815195620447-2088650887.png)

(6)、获取图片链接（获取方式同上一步）

点进第一章，同上一步，寻找到图片链接：

      ![](https://img2018.cnblogs.com/blog/1769790/201908/1769790-20190815210847208-1074894486.png)

 1 i=1
 2 for next\_zhang in zhang\_list:    # 在章节列表中循环 3     i=i+1
 4     j=0
 5     hui\_url = r\_url+next\_zhang
 6     name1 = "第"+str(i)+"回"
 7     file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1)   # 创建文件夹
 8     if not os.path.exists(file): 9 os.makedirs(file)
10         print('创建文件夹：', file)
11     response = requests.get(url=hui\_url, headers=headers)    # 模拟访问每一章链接
12     data = etree.HTML(response.text)
13     # tp = data.xpath('//div\[@class="no-pic"\]//img/@src')
14     tp = data.xpath('//div\[@class="main-content"\]//ul//li//div\[@class="no-pic"\]//img/@src')   # 定位
15     ye\_list = tp

(7)、下载图片

1 for k in ye\_list:    # 在每一章的图片链接列表中循环
2     download\_url = tp\[j\]
3     print(download\_url)
4     j=j+1
5     file\_name="第"+str(j)+"页"
6     response = requests.get(url=download\_url)    # 模拟访问图片链接
7     with open(file+file\_name+".jpg","wb") as f:
8         f.write(response.content)

五、代码

 1 '''
 2 用于爬取非人哉漫画
 3 目标网址：http://www.manhuadao.cn/
 4 开始时间：2019/8/14 20:01:26
 5 完成时间：2019/8/15 11:04:56
 6 作者：kong\_gu
 7 '''
 8 import requests 9 import json
10 import time
11 import os
12 from lxml import etree
13 from bs4 import BeautifulSoup
14 
15 
16 def main():
17     keyword="非人哉"
18     file = 'E:/{}'.format(keyword)
19     if not os.path.exists(file):
20 os.mkdir(file)
21         print('创建文件夹：',file)
22     r\_url="http://www.manhuadao.cn/"
23     url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
24     headers = {  # 模拟浏览器访问网页
25         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\\\Chrome/75.0.3770.142 Safari/537.36'}
26     response = requests.get(url=url, headers=headers)
27     # print(response.text)   # 输出网页源码
28     data = etree.HTML(response.text)
29     # tp = data.xpath('//ul\[@class="read-chapter"\]/li/a\[@class="active"\]/@href')
30     tp = data.xpath('//\*\[@class="yesReader"\]/@href')
31     zhang\_list = tp
32     i=1
33     for next\_zhang in zhang\_list:
34         i=i+1
35         j=0
36         hui\_url = r\_url+next\_zhang
37         name1 = "第"+str(i)+"回"
38         file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1)    # 这里需要自己设置路径
39         if not os.path.exists(file):
40 os.makedirs(file)
41             print('创建文件夹：', file)
42         response = requests.get(url=hui\_url, headers=headers)
43         data = etree.HTML(response.text)
44         # tp = data.xpath('//div\[@class="no-pic"\]//img/@src')
45         tp = data.xpath('//div\[@class="main-content"\]//ul//li//div\[@class="no-pic"\]//img/@src')
46         ye\_list = tp
47         for k in ye\_list:
48             download\_url = tp\[j\]
49             print(download\_url)
50             j=j+1
51             file\_name="第"+str(j)+"页"
52             response = requests.get(url=download\_url)
53             with open(file+file\_name+".jpg","wb") as f:
54 f.write(response.content)
55 
56 
57 if \_\_name\_\_ == '\_\_main\_\_':
58     main()

最后这里给大家免费分享一份Python学习资料，包含了视频、源码、课件，希望能够帮助到那些不满现状，想提示自己却又没用方向的朋友，也可以和我一起来交流呀！

编辑资料、学习路线图、源代码、软件安装包等！【点击这里】领取！