python爬取网页network_网页爬取时执行状态成功,但获取不到想要的数据的时候解决方法(Network,XHR,json)...

Network:

当我们爬取网页的内容,对源代码进行请求,响应的源代码中没有我们需要的东西时,需要查看Network

打开需要爬取的网页,进行源码检查,会发现左边框框里的是Elements,右边框框是我们需要关注的Network

Network 的功能是:记录在当前页面上所发生的所有请求(它是实时加载的,如果是空的,则需要刷新网页)

在图最下面显示,此处有16个请求,15.4kb的流量,耗时3.14s

其实这里的第一个,就是刚requests.get()获取到的网页源代码,它里面不包含歌曲清单。

一般来说,都是这种第0个请求先启动了,其他的请求才会关联启动,一点点地将网页给填充起来。也有一些网页,直接把所有的关键信息都放在第0个请求里,尤其是一些比较古老(或比较轻量)的网站,我们用requests和BeautifulSoup就可以解决他们。

我们要做的就是找到这些信息藏在哪个请求当中,并用requests库,去模拟这个请求。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值