Python爬虫练习：爬取网易云音乐评论(2024附完整代码)

分享一下自己爬取成功的经历，本章将详细说明自己整个爬取流程

---

步骤一：准备工作

1.导入需要的库

import requests
import json
# 实现AES加密需要的三个模块
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
from base64 import b64encode

2.打开网易云音乐进入音乐页面并分析

无论是网页源代码还是框架源代码，都没有评论的内容，说明网页的评论是js动态加载出来的

步骤二：捕获评论包并分析

1.在XHR中捕获所有数据包

2.找到评论包

可以打开响应后再一个个看捕获到包里面的内容，很快就能发现“get?csrf_token=”就是包含了评论信息的包

3.分析评论包

在标头可以看到请求网址以及该包是POST请求发送的；再看载荷中能明显看出params和encSecKey的值是被加密的；如果按照正常方法requests.post并加上params和encSecKey的数据是得不到评论的数据的；因此必须破解params和encSecKey的加密（请求网址csrf_token=的值可有可无，如果你没有登录就没有后面的值，并不影响）

# 评论数据的请求地址
url='https://music.163.com/weapi/comment/resource/comments/get?csrf_token='

步骤三：逆向评论包

1.包的加密过程：明文——>加密——>密文；在这个包的堆栈中，肯定有处地方是放着明文的，然后在它上面肯定有处是进行加密的；而我们现在在栈顶看到的就是密文；因此我们要往回找

2.点击栈顶，定位到js代码中并下断点(如果点击后没有定位到，可以切回去再试一次)

3.下完断点后刷新网页并观察

由于我们下了断点，网页中的歌词以及评论都没有加载出来，而我们的断点是下在一个函数里面的；可以判断该函数会被多次调用，因此我们要让网页继续运行直到是评论包调用了这个函数

再点击两次后，可以看到歌词已经出来了，但是评论还没出来，继续运行

再运行一次后，