使用selenium爬取网易云热门评论（超详细）

最新推荐文章于 2024-09-06 17:46:56 发布

「已注销」

最新推荐文章于 2024-09-06 17:46:56 发布

阅读量1.9k

点赞数 2

文章标签：爬虫 selenium

本文链接：https://blog.csdn.net/Harden13_/article/details/118560254

版权

本文详细介绍了如何利用selenium爬取网易云音乐的动态网页，通过抓包找到歌曲信息的JSON数据，解析JSON获取歌曲ID，并进入详细页抓取热门评论。

摘要由CSDN通过智能技术生成

最近在研究怎么爬取网易云音乐的热门评论，发现使用selenium是最简单的，话不多说直接上思路步骤。

首先查看网页源代码发现在源代码里发现找不到歌曲的信息，可以得知是动态网页。

打开开发者工具的Network进行抓包，发现歌曲信息是存放在这个包里面的

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
           'cookie': '*********'  # 如果不添加cookie信息，请求返回的信息会提示你为登录
           }
data = {
    'params': '6wxc4PLp9lMOQMu+FF93NbG3bFpEeA6clr9Bm2FjxcQkJyWlFVYgWasxQoxzDo43qwn1jYIji1/niLYLhXNnahmUtBuMYM79OKfp2Er0AKZ/wml3breegMfEZRP+odvJL+oOzcr+RWv4iXCWpBkKDpUogQvC6eHtUegXGQ9zV25O5rlgblCcOCbjyXYo2VSfL2FrV2IG2l9L91Jvjatm+XBSWYldqioI4bpp4A6/w0Y=',
    'encSecKey': '5eb65b40a5489771b0f4cd3e6e180c5ddc8da10d497d6c08d041d3a3505543955eb7d90cc2090c30aa9b25136b