本文讲述了使用Python的requests库爬取酷我音乐MV信息时遇到的问题，包括友好错误界面、CSRF token缺失以及动态网页的解析。针对这些问题，作者给出了详细的解决方法，包括添加请求头、处理CSRF token和识别JavaScript渲染的内容。通过监听网络请求，找到动态加载的数据源，从而成功获取音乐和MV链接。
问题 1
在我用 Python 的 requests 爬取酷我音乐MV信息时报错：
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
代码如下：
url = 'https://www.kuwo.cn/api/www/search/searchMvBykeyWord'
headers = {
'cookie': '...',
'user-agent': '...',
}
params = {
'key': '夜曲',
'pn': '1',
'rn': '30',
'httpsStatus': '1'
}
respond = requests.get(url=url, headers=headers, params=params)
print(respond.text)
text = respond.json()
打印出来的HTML内容如下，出现友好错误界面：
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden
最低0.47元/天 解锁文章
扫一扫
8839
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
