最近的一段时间里,小编喜欢上了CosPlay的展出,小姐姐们的CosPlay展真的是让我很是欣赏,于是,我回到家里就从网上来看展出,但是一个个网页查看太过繁琐~~
既然是玩Python,不如写个代码搞定!小编就自己写了一个爬虫的程序,仅仅只需要几十行的代码,就爬取了上千张CosPlay小姐姐的美照,小编特地拿出来跟大家分享一下,一步步的教大家如何来抓取cosplay的照片。
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:957324352
01.网页介绍
小编爬取的是抽妹网->图片专区->cosplay下的图片信息。网页链接为:
所以我们首先应该在程序中抓取每个页面下的全部的子网页链接,然后不断的翻页,来抓取到全部的子网页的链接。
进入到每个子网页中,如下图所示:
在每个子网页下面,就是我们想要抓取的cosplay图片。经过上面的分析之后,我们明白了整体的抓取的流程应该如下图所示。
程序应该不断的抓取子网页的链接,然后在子网页中不断的抓取每张图片,并保存到本地的文件夹中。
02.程序实现
程序的主逻辑有了,接下来就是如何来实现了。首先,我们来看一下,如何实现在主页面中抓取每个子页面的链接。
打开主页面的网页源代码发现,页面属于静态页面,所以每个子页面的网页链接都在网页源代码中能够找到,如下图所示:
所以,在程序中,只需要分析网页源代码并提取每个子网页的链接即可,程序如下图所示。
上述程序中,首先构造了主网页的链接,然后获取并分析主网页的源代码,并找到包含子网页的标签,对于每一个子网页的主题名称和url进行提取。创建主题名称的文件夹用来保存图片,然后再savePic的函数中对子网页进行处理。
03.子网页的图片提取
接下来就是对于子网页中图片的提取,也就是savePic函数的实现。子网页同样是采用的静态网页的形式,因此,程序的主逻辑同主页面的抓取非常的类似,程序如下所示:
上述的程序中,同样利用requests来请求网页源代码,并利用BeautifulSoup来进行分析,并提取包含图片url的标签,如果提取正确,那么就将图片保存到本地,如果提取失败,则换另外一种方式进行提取。
在实际程序编写的过程中,会发现某些文件夹中没有图片,经过分析后才会发现是第一种提取图片url的方式失败所导致的,因此才有了第二种url的提取方式。此外程序中,小编还多次的用到了try…except来对程序进行保护,提高了程序的容错性。
04.结果展示
程序完成后,大家只需要运行上述程序,就可以获得大量的cosplay照片,如下图所示
以上就是小编为大家带来的干货分享,大家也赶快下载程序,自己来爬取小姐姐的cosplay照片,慢慢欣赏吧。
在这里还是要推荐下我自己建的Python开发学习群:957324352,群里都是学Python开发的,如果你想学或者正在学习Python ,欢迎你加入,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2020最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴!