干货福利！手把手教你用python获取上千张cosplay小姐姐的美照

最近的一段时间里，小编喜欢上了CosPlay的展出，小姐姐们的CosPlay展真的是让我很是欣赏，于是，我回到家里就从网上来看展出，但是一个个网页查看太过繁琐～～

既然是玩Python，不如写个代码搞定！小编就自己写了一个爬虫的程序，仅仅只需要几十行的代码，就爬取了上千张CosPlay小姐姐的美照，小编特地拿出来跟大家分享一下，一步步的教大家如何来抓取cosplay的照片。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：957324352

01.网页介绍

小编爬取的是抽妹网->图片专区->cosplay下的图片信息。网页链接为：

所以我们首先应该在程序中抓取每个页面下的全部的子网页链接，然后不断的翻页，来抓取到全部的子网页的链接。
进入到每个子网页中，如下图所示：

在每个子网页下面，就是我们想要抓取的cosplay图片。经过上面的分析之后，我们明白了整体的抓取的流程应该如下图所示。

程序应该不断的抓取子网页的链接，然后在子网页中不断的抓取每张图片，并保存到本地的文件夹中。

02.程序实现

程序的主逻辑有了，接下来就是如何来实现了。首先，我们来看一下，如何实现在主页面中抓取每个子页面的链接。

打开主页面的网页源代码发现，页面属于静态页面，所以每个子页面的网页链接都在网页源代码中能够找到，如下图所示:

所以，在程序中，只需要分析网页源代码并提取每个子网页的链接即可，程序如下图所示。

上述程序中，首先构造了主网页的链接，然后获取并分析主网页的源代码，并找到包含子网页的标签，对于每一个子网页的主题名称和url进行提取。创建主题名称的文件夹用来保存图片，然后再savePic的函数中对子网页进行处理。

03.子网页的图片提取

接下来就是对于子网页中图片的提取，也就是savePic函数的实现。子网页同样是采用的静态网页的形式，因此，程序的主逻辑同主页面的抓取非常的类似，程序如下所示：

上述的程序中，同样利用requests来请求网页源代码，并利用BeautifulSoup来进行分析，并提取包含图片url的标签，如果提取正确，那么就将图片保存到本地，如果提取失败，则换另外一种方式进行提取。

在实际程序编写的过程中，会发现某些文件夹中没有图片，经过分析后才会发现是第一种提取图片url的方式失败所导致的，因此才有了第二种url的提取方式。此外程序中，小编还多次的用到了try…except来对程序进行保护，提高了程序的容错性。

04.结果展示

程序完成后，大家只需要运行上述程序，就可以获得大量的cosplay照片，如下图所示

以上就是小编为大家带来的干货分享，大家也赶快下载程序，自己来爬取小姐姐的cosplay照片，慢慢欣赏吧。

在这里还是要推荐下我自己建的Python开发学习群:957324352，群里都是学Python开发的，如果你想学或者正在学习Python ，欢迎你加入，大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2020最新的Python进阶资料和高级开发教程，欢迎进阶中和进想深入Python的小伙伴！