爬无止境：用Python爬取漫画岛，我又刑了!!

一、效果展示

首先是我们想要爬取的漫画网页：http://www.manhuadao.cn/

网页截图：

其次是爬取下来的效果：

二、实现原理

1、准备：需要vscode或者其他能够编译运行python的软件，推荐python版本3.X ，否则有可能出现编译问题。

下载所需模块：win+R进入命令行，输入pipinstall <模块名>即可下载。例如：

pip install beautifulsoup4

2、原理： 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

三、操作过程

1、引入模块
　　　

2、模拟浏览器访问网页

1.这里我们打开漫画的目录页，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此链接就是目录页链接。

2.按F12打开此网页的源码我用的是谷歌浏览器，选中上方NetWork，Ctrl+R刷新。

3.找到加载网页的源码文件，点击Headers，如下图： StatusCode表示网页返回的代码，值为200时表示访问成功。

4.headers中的参数为下面红框User-Agent。

response = requests.get(url=url, headers=headers)  # 模拟访问网页
print(response)  # 此处应输出   <Response [200]>
print(response.text)   # 输出网页源码

两个输出分别输出：
输出返回200表示访问成功。

5.将html代码存入 data 中，xpath定位每一章链接。点击上方Element，点击：

将鼠标移至目录处：

右边代码区域出现每一章链接：

data = etree.HTML(response.text)
# tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
tp = data