Python的requests爬取酷我音乐的一些坑（报错、友好错误界面、csrf、动态网页）

403 Forbidden

---

nginx/1.16.0

解决办法：请求头除cookie外，再加上Referer和csrf：

headers = {

‘Referer’: ‘https://www.kuwo.cn/search/list’,

‘cookie’: ‘kw_token=GY3EWHPDHD’,

‘user-agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 OPR/77.0.4054.203’,

‘csrf’: ‘GY3EWHPDHD’

}

问题 2

=======================================================================

解决问题 1 之后爬取酷我音乐的MV信息时，打印出爬取到的数据是这样子的：

{“success”:false,“message”:“CSRF Token Not Found!”,“now”:“2021-07-23T13:15:45.683Z”}

根据上面的信息我们可以得出是 csrf 这里出了问题：

url = ‘https://www.kuwo.cn/api/www/search/searchMvBykeyWord’

headers = {

‘Referer’: ‘https://www.kuwo.cn/search/list’,

‘cookie’: ‘…’,

‘user-agent’: ‘Mozilla/5.0…’,

‘csrf’: ‘GY3EWHPDHD’,

}

params = {‘key’: ‘夜曲’,

‘pn’: ‘1’,

‘rn’: ‘30’,

‘httpsStatus’: ‘1’

}

respond = requests.get(url=self.url, headers=self.headers, params=self.params)

print(respond.text)

接着我发现 csrf 的内容和 cookie 中的kw_token是一样的，因此这两个都不能缺少

我正好就是 cookie 中缺少了此部分，加上去即可：

headers = {

‘Referer’: ‘https://www.kuwo.cn/search/list’,

‘cookie’: ‘kw_token=GY3EWHPDHD’,

‘user-agent’: ‘Mozilla/5.0…’,

‘csrf’: ‘GY3EWHPDHD’,

}

根据试验我得出在这里爬取音乐数据，请求头只需要Referer、csrf和cookie的kw_token部分即可。

问题 3

=======================================================================

爬取音乐MV链接，遇到了 javascript 渲染的动态网页：

爬取视频链接的部分代码：

from pyquery import PyQuery as pq

url_mv = pq(url=‘https://y.qq.com/n/ryqq/mv/d0023bpqirq’)

url_mp4 = url_mv.find(‘#video_player__source’).attr(‘src’)

print(url_mp4)

这时候我们会发现我们爬到的信息为None

我试着用requests获取HTML源码，但得到的内容与我在网页中看到的不一样，内容有缺失：

import requests

url_mv = ‘https://y.qq.com/n/ryqq/mv/d0023bpqirq’

url_mp4 = requests.get(url_mv).text

print(url_mp4)

为什么爬到的网页内容和我们看到的不一样呢？这是因为：这个网页的数据是JavaScript渲染的，我们从html的源码中无法获得这些数据，这些数据是在执行JavaScript脚本之后，异步地渲染到页面上的。我们获得的HTML源码为网页初始化的时候的源码，就像下面这样，当然没有视频链接：

这时候怎么办呢。我上网查了很多方法，要么是用 selenium 等的库模拟浏览器操作，或者就是渲染引擎等的东西。但 selenium 库耗时又耗内存，我并不想用它。而身为大懒人的我又绝对不会搞什么引擎。这时候我找到了一个绝佳的解决办法（只适用于爬取音乐和MV，其他网页我没有试过，并不清楚）。

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！