学python就知道天天爬妹子图,营养是真的跟不上啊

作为Python的初学者,爬虫肯定是入门的不二选择,既能熟悉语法,又能通过爬虫了解一定的网络编程知识。

  • 标网站:www.mmjpg.com

  • 如果你现在已经打开了这个网站,求求你们,把持住自己!!!

  • 在这里还是要推荐下我自己建的Python开发学习群:483546416,群里都是学Python开发的,如果你正在学习Python ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴

学python就知道天天爬妹子图,营养是真的跟不上啊

爬虫的原理

现在,让我们踩下油门,开始飙车!!!

既然我们要基于面向对象的思想写这个爬虫,那么我们就需要把这个爬虫写成一个类。

学python就知道天天爬妹子图,营养是真的跟不上啊

首先我们先来抓取所有妹子的url

在get_page_urls()中我们首先判断输入的页码(这里我们就不做输入负数的判断了),在获取到page_num后拼接出所有要爬取的页面url

学python就知道天天爬妹子图,营养是真的跟不上啊

打开首页,调出开发者工具

学python就知道天天爬妹子图,营养是真的跟不上啊

注意力不要放在妹子上!!!

我们定位到妹子的url,我们可以很容易的写出妹子url的xpath。

学python就知道天天爬妹子图,营养是真的跟不上啊

调出开发者工具(注意力不要放在妹子上!!!)

学python就知道天天爬妹子图,营养是真的跟不上啊

两种解决办法:

学python就知道天天爬妹子图,营养是真的跟不上啊

学python就知道天天爬妹子图,营养是真的跟不上啊

下面我们使用Selenium来模拟点击“全部图片”的按钮,来获取所有图片的url了。

学python就知道天天爬妹子图,营养是真的跟不上啊

这时我们调出开发者工具,我们就看到了所有图片的url了。

学python就知道天天爬妹子图,营养是真的跟不上啊

现在我们就可以获得每张图片的url了,顺便获取一下妹子的标题。

学python就知道天天爬妹子图,营养是真的跟不上啊

学python就知道天天爬妹子图,营养是真的跟不上啊

学python就知道天天爬妹子图,营养是真的跟不上啊

下载图片的方法

学python就知道天天爬妹子图,营养是真的跟不上啊

学python就知道天天爬妹子图,营养是真的跟不上啊

全部代码

学python就知道天天爬妹子图,营养是真的跟不上啊

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值