Network:
当我们爬取网页的内容,对源代码进行请求,响应的源代码中没有我们需要的东西时,需要查看Network
打开需要爬取的网页,进行源码检查,会发现左边框框里的是Elements,右边框框是我们需要关注的Network
Network 的功能是:记录在当前页面上所发生的所有请求(它是实时加载的,如果是空的,则需要刷新网页)
在图最下面显示,此处有16个请求,15.4kb的流量,耗时3.14s
其实这里的第一个,就是刚requests.get()获取到的网页源代码,它里面不包含歌曲清单。
一般来说,都是这种第0个请求先启动了,其他的请求才会关联启动,一点点地将网页给填充起来。也有一些网页,直接把所有的关键信息都放在第0个请求里,尤其是一些比较古老(或比较轻量)的网站,我们用requests和BeautifulSoup就可以解决他们。
我们要做的就是找到这些信息藏在哪个请求当中,并用requests库,去模拟这个请求。