Python爬取网易云音乐1万条评论(1)，熬夜整理Python高频面试题

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

那么今天我们用python看看这些评论里留下了哪些感人的故事

数据抓取

---

首先，我们用电脑打开网易云音乐这条视频的链接。找到最新评论，目标就是把这些评论全部取出来。接着发现每点击“下一页”，网站的url并没有任何变化，说明整个评论区的内容都是通过Ajax异步请求技术得到的。关于这个概念大家可以百度，简单来说就是能够实现在后台与服务器交换数据，在不重新加载页面的情况下更新网页。打开浏览器F12，进入开发者工具，选择Network，我们选择XHR(XmlHttpRequest)就可以选出Ajax的请求包：

然后再一个个点进去查看response，就能找到包含评论的数据包⬇️

点进去就能看到header信息

可以发现是一个post请求并且接收两个参数params以及encSecKey

我们先来试试看

import requests

import json

url = ‘https://music.163.com/weapi/v1/resource/comments/R_VI_62_3F79C7B87510106B8118EE3F811C1BC5?csrf_token=’

headers = {

‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36’,

‘Referer’:‘https://music.163.com/video?id=3F79C7B87510106B8118EE3F811C1BC5&userid=265996751’,

‘Origin’:‘http://music.163.com’,

‘Host’:‘music.163.com’

}

user_data = {

‘params’: ‘fphfDEFeIs3I+ybqkBQhWxvB8GFOB0RMrmOS1VfB9ljX0CWccYd5WPdfRk6iaPuhllQcpKweUTwKc7GyZZENbB99O3C/vdhEeChuxLK8Rl40hb/ipmhXIxbJ1KRMemNFF+jTQqdFUnw3HNdrUqSzjmfh/HP630vmp4HVL6i+oSDygse0C1JUgS5d5Six93R7r8b3tKUCnPw/JJbH3AXTlA==’,

‘encSecKey’: ‘a658168c2225f0dfe46e9b260abb348691c42946ec46e6f4a5c434e86d6d546da0fcb7de0dba750422c40064b026169a453f5e42c59f63c38c7749c0e81023dd27978f1e5d97b6c97fa70df347737b51a69fc15b49b2e3e209c53eefcf7d795b6344404811e84761c700422ef57a427e84bc77adece15146ca62033b3f2aacfd’

}

response = requests.post(url,headers=headers,data=user_data)

可以发现能够取到这一页的评论信息

但是这只能拿到当前这一页的评论。那么怎样获取全部的评论信息呢，之前我们说过，点击下一页的时候只刷新评论，而不会重新加载页面。通过测试我们发现点击下一页时候只有 params和encSecKey会改变，那么接下来的问题就是就是搞明白这两个参数是怎样变化的。还好已经有知乎大神[1]给出了加密过程的解析与还原代码，所以我们直接拿过来用就可以。整个过程比较复杂，每个参数经过两次加密涉及到四个不同参数。由于篇幅原因完整的代码可以在早起python公众号内回复音乐获取。那么最后是将所有评论全部爬取下来。

数据分析

---

先来看下热评都在说什么

• 那有什么白衣天使，只不过是一群孩子穿上白衣服，学着前辈的样子治病救人罢了！

• 听到那句“妈妈在打怪兽呢”眼泪就掉下来了

• 武汉只是暂时被病毒藏起来！武汉加油

再来看下出现最多的词汇

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-Q5kQ4yWc-1713369565880)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！