七麦网爬虫协议分析

看网上有朋友在寻找该网站爬虫思路，这里我就分享下心得吧

比如我们爬取付费App榜单

很明显，直接返回的response里不包含以上数据:

那么还是抓包，通过翻页可以找到如下URL:

加密参数如下：

切入正题，我们直接分析analysis参数来源
chrome下断点，查看调用回溯会断在如下代码:

可以看到上面的代码参数e里包含了加密的参数analysis ，继续向上寻找
这里会出现js卡死现像，耐心等待即可

终于在同一代码块中，找到了参数生成的地方,那么接下来就是扣取js代码，放到本地运行了
网站可以看到是webpack打包形式，所以需要将相关js文件一同扣取下来，文件很庞大，不得不说现在js的混淆是有点恶心
做这些项目就是耗时间

最后python运行结果如下:

如有问题，欢迎交流，评论区下可给楼主留言