Python爬虫实战案例——第四例

最新推荐文章于 2024-07-12 16:16:27 发布

quanmoupy

最新推荐文章于 2024-07-12 16:16:27 发布

阅读量469

点赞数 4

分类专栏： Python爬虫实战案例文章标签： python 爬虫 java

本文链接：https://blog.csdn.net/weixin_43770993/article/details/132900237

版权

Python爬虫实战案例专栏收录该内容

7 篇文章 2 订阅

订阅专栏

文章中所有内容仅供学习交流使用，不用于其他任何目的！严禁将文中内容用于任何商业与非法用途，由此产生的一切后果与作者无关。若有侵权，请联系删除。

目标：网易云音乐歌单评论采集(初级逆向)

地址：aHR0cHM6Ly9tdXNpYy4xNjMuY29tLyMvZGlzY292ZXIvcGxheWxpc3Q=

在这里插入图片描述

点击任意歌单进入页面开始分析

在这里插入图片描述

搜索评论内容找到评论所在的包

在这里插入图片描述

可以看到关键参数主要就是两个——params和encSecKey

在这里插入图片描述

全局搜索encSecKey参数

在这里插入图片描述

按F8直到评论区开始加载(因为其他内容加载时使用的也是同一个加密算法，但是参数不同)

在这里插入图片描述

可以看到此时两个参数的生成方法已经能够生成调用

在这里插入图片描述

在这里我们可以看到几个参数的值，这些参数是作为入口函数调用时需要传入的

在这里插入图片描述

那么接下来就要去分析e，f，g三个参数是从何处生成而来。在当前js文件中定位到第二个encSecKey的搜索位置

在这里插入图片描述

在这里就可以看到入口处就是刚才定位到的d函数，所以window.asrsea函数中传递的参数依次为d函数中的形式参数d,e,f,g，打上断点来到console中测试输出不难发现这三个值都是固定值，所以就不用再去找其生成逻辑了。

在这里插入图片描述

接下来要做的就是将入口函数抠到本地生成两个目标参数，然后将其代入进行请求。初步js代码如下

function d(d, e, f, g) {
        var h = {}
          , i = a(16);
        return h.encText = b(d, g),
        h.encText = b(h.encText, i),
        h.encSecKey = c(i, e, f),
        h
    }

var d_data = '{"rid":"A_PL_0_26467411","threadId":"A_PL_0_26467411","pageNo":"1","pageSize":"20","cursor":"-1","offset":"0","orderType":"1","csrf_token":""}'
    ,e_data = "010001"
    ,f_data = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
    ,g_data = "0CoJUm6Qyw8W8jud"
d(d_data, e_data, f_data, g_data)

然后就是补函数补环境，缺什么补什么就可以了，补的时候需要注意每个代码块的顺序，nodejs中RSA算法可以使用crypto-js模块来实现，在当前执行环境下输入npm install crypto-js即可完成模块的安装

在这里插入图片描述

补完后执行代码结果如下

在这里插入图片描述

将d_data进行动态变化修改

{"rid":"A_PL_0_2065854146","threadId":"A_PL_0_2065854146","pageNo":"1","pageSize":"20","cursor":"-1","offset":"0","orderType":"1","csrf_token":""}

这个参数中的各个键值对不难分析，重复刚刚对网页的分析步骤就能够知道rid和threadId表示歌单的标识以及id组成，pageNo为页数，其它参数不用改动，所以要获取其他歌单的评论的话修改rid和threadId即可。

最终执行结果如下：

在这里插入图片描述

完整代码移步：https://gitee.com/shuailiuquan

quanmoupy

关注

4
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
1
评论
Python爬虫实战案例——第四例

在这里就可以看到入口处就是刚才定位到的d函数，所以window.asrsea函数中传递的参数依次为d函数中的形式参数d,e,f,g，打上断点来到console中测试输出不难发现这三个值都是固定值，所以就不用再去找其生成逻辑了。这个参数中的各个键值对不难分析，重复刚刚对网页的分析步骤就能够知道rid和threadId表示歌单的标识以及id组成，pageNo为页数，其它参数不用改动，所以要获取其他歌单的评论的话修改rid和threadId即可。那么接下来就要去分析e，f，g三个参数是从何处生成而来。
复制链接

扫一扫