用python爬取漫画！

作者: 锋小刀
微信搜索【Python与Excel之交】关注我的公众号查看更多内容

Hi~ 大家好！

今日教大家用Python爬取某网站的全部漫画，让你想看什么漫画就看什么漫画！本文代码量有的多，请耐心看完！如果不想看分析网页，可拉取到爬取思路和实现代码区域，查看基本思路和代码！经过作者测试，测试过的漫画都可以下载！本文图片以及文本仅供学习、交流使用，要想获得更好的体验，请支持正版！

本文完整代码见文末！

分析网页

受害者：

https://www.kanman.com/sort/

漫画其实是一张一张图片来着，所以我们先找到这些图片的链接在哪里！因为本文是为了实现想看什么漫画就爬取什么漫画，所以搜索任一漫画，这里以神印王座为例，然后点进去进入详情页查看任一话；在浏览页中，网页源代码是没有我们需要的数据，所以需要打开开发者工具进行抓包，最终成功找到图片的链接。

找到图片链接后，接着就要想办法从该数据包中获取，也就是访问该数据包的链接，从数据包中提取图片链接。通过多页的数据包，观察以下数据包链接，发现chapter_newid每次翻页会发生变化的，comic_id是一本漫画的唯一标识。

https://www.kanman.com/api/getchapterinfov2?product_id=1&productname=kmh&platformname=pc&comic_id=5323&chapter_newid=1006&isWebp=1&quality=middle
https://www.kanman.com/api/getchapterinfov2?product_id=1&productname=kmh&platformname=pc&comic_id=5323&chapter_newid=2003&isWebp=1&quality=middle
https://www.kanman.com/api/getchapterinfov2?product_id=1&productname=kmh&platformname=pc&comic_id=5323&chapter_newid=3004&isWebp=1&quality=middle

接着查找这两个参数是从哪里来的。进入首页搜索神印王座，接着查看网页源代码，发现可以在网页源代码中找到进入漫画详情页的url；我试着用正则表达式和xpath语法进行提取时，发现困难重重，源代码中的HTML标签有很多的都相同的，且发现源代码中不止一本漫画。

接着我试着搜索其它漫画，发现源代码中没有，我才发现我掉坑里，后来发现该源代码是网站首页的源代码，大意了，泪目！但没关系，源代码中没有，我们去抓包。

打开开发者工具，进入Network中的XHR，搜索神印王座，第一次搜索的时候抓到一条数据包，不过他报红了：

但里面是有我们需要的内容的。不过因为报红，我们在开发者工具中是无法看到数据的，得点开数据包：

如果需要获取不报红的数据包，需要重新点击一下输入框，他就会加载出来了，如果只刷新网页和重新点击搜索他都是无法