一些基础的爬虫比较容易理解简单易上手。但是对于一些网站加密的数据使用一些简单粗暴的方式是完全不行的。例如网易云音乐的评论就采用了AES等加密方式。想要获取这些评论就需要寻找评论的加密方式。并对加密方式进行解密。今天我分享的是如何获取这些加密方式的源码。
.
.
1,认识网页检查页面
如下图,我们进入歌曲详情网页
右击 检查 就会出现如下界面。我们来了解几个常用的功能。
名称 | 作用 |
---|---|
元素 | 结合搜索寻找网页中数据路径 |
控制台 | 有些像python的交互命令行,查看函数,关键字等的详细信息,例如输入函数名就可以返回具体的函数内容 |
网络 | 我们抓包时查看每一条请求链接,获取headers等 |
源代码 | 前端源代码,大部分出现在网页都数据都可以在其中找到 |
缓存 | 这里就是页面的缓存信息,当遇到缓存问题可以在这里试一试清除缓存 |
2,寻找评论的包并分析
点击网络这个面板,并找到图中的地方。(可能点击后什么都没有或者很少,刷新一下页面即可)