简单应用Selenium+PhantomJS来抓取煎蛋网妹子图

点击上方“程序人生”,选择“置顶公众号”

第一时间关注程序猿(媛)身边的故事


640?wx_fmt=jpeg

图片源自unsplash

作者

Python玩家

链接:https://blog.csdn.net/programmer_yf/article/details/80554347

如需转载,请联系原作者授权。


640?wx_fmt=png

那天有朋友找我一起抓妹子图片,像我这么正派的人,肯定是要抱着学习的目的……打开网页,哇!

640?wx_fmt=jpeg话不多说,先看看网页吧!

640?wx_fmt=jpeg

熟练的打开网页,找到妹子图,然后F12打开开发者工具,定位,ok,图片地址找到了,so easy~!,我们写入代码看看

640?wx_fmt=jpeg

WTF~!

返回了个空列表?加了header也是这样,为啥呢,来打开源码看看

640?wx_fmt=jpeg

原来是js数据,这就麻烦了,难道先去学习下js语法,拿js文件,分析逻辑,找最终的url吗?

640?wx_fmt=jpeg让我们用selenium+PhantomJS试试吧!

安装请自行百度(有些麻烦,需要下载各种浏览器的相关驱动文件,网上一堆教程)

我们先获取源码后找找刚才的标签看看效果!

640?wx_fmt=jpeg

吼吼~乖乖的出现了吧!

下面的流程就简单了,找到URL中翻页按钮,循环它,直到没有为止!然后写个获取图片并下载的函数,不到40行代码搞定!剩下的就是静静等待了!

640?wx_fmt=jpeg

完整代码和下载效果如下:

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg


- The End -


「若你有原创文章想与大家分享,欢迎投稿。」

加编辑微信ID,备注#投稿#:

程序 丨 druidlost  

小七 丨 duoshangshuang


更多精彩内容

640?wx_fmt=jpeg

640?wx_fmt=gif

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值