自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天

本次干货内容给大家呈现的利用爬虫获取海量美女图片。不知道大家有没有上过斗鱼直播、虎牙直播,直播室里面美女姐姐可是比比皆是。

有很多美女姐姐的图片做桌面,即使加班也是高兴的!

图片

好啦!先唠叨一下爬虫的步骤:

  1. 获取请求链接,并判断响应结果的类型

  2. 使用requests发出请求,获取响应结果

  3. 解析响应结果

  4. 将响应的结果做持久化保存

按照步骤我们第一步是获取链接,我们以虎牙直播为例,进入首页

然后选择更多,但是如果你需要的在上面可以直接选择也可以,比如王者荣耀、英雄联盟等,我们选择【颜值】,进入颜值页面

 

来到颜值页面后我们F11打开开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片

将页面拉到底部,进行翻页。发现地址栏没有变化还仍然是:https://www.huya.com/g/2168

如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。

点开上图中圈起来的链接,发现在response处是一个json返回结果

  • 23
    点赞
  • 146
    收藏
    觉得还不错? 一键收藏
  • 14
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值