爬取网页版的音乐可以使用抓包工具也可以直接使用谷歌浏览器的开发者调试工具分析地址
下面使用开发者调试工具分析数据
从搜索开始随便输入一个歌曲名到搜索框
可以看到有很多请求,一般我们需要的都是ajax请求所以切换到XHR选项:
会有很多请求,一般请求以json数据返回
寻找返回的json数据
挨个点一下看看response或者preview一般来说返回的json数据都比较多的才能获取到有用的信息,
这条返回的比较长复制链接打开看看
里面有音乐的一些参数正是需要的
来分析下这个链接
其他参数经过尝试都是固定的
打开详细页面
找到如下又有效地址:
复制后打开出现如下报错:
试试用python模拟请求看看
可以打开:
模拟请求代码:
import requests
import ssl
ssl_context = ssl._create_unverified_context
def get_request(url):
header = {
'Connection': "keep-alive",
'Pragma': "no-cache",
'Cache-Control': "no-cache",
'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/72.0.3626.119 Safari/537.36",
'Accept': "*/*",
'Referer': url,
'A