本次干货内容给大家呈现的利用爬虫获取海量美女图片。不知道大家有没有上过斗鱼直播、虎牙直播,直播室里面美女姐姐可是比比皆是。
有很多美女姐姐的图片做桌面,即使加班也是高兴的!
好啦!先唠叨一下爬虫的步骤:
获取请求链接,并判断响应结果的类型
使用requests发出请求,获取响应结果
解析响应结果
将响应的结果做持久化保存
按照步骤我们第一步是获取链接,我们以虎牙直播为例,进入首页
然后选择更多,但是如果你需要的在上面可以直接选择也可以,比如王者荣耀、英雄联盟等,我们选择【颜值】,进入颜值页面
来到颜值页面后我们F11打开开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片
将页面拉到底部,进行翻页。发现地址栏没有变化还仍然是:https://www.huya.com/g/2168
如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。
点开上图中圈起来的链接,发现在response处是一个json返回结果
于是我们把此链接拷贝出来,继续分析:
1.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=1
<