python反爬之破解动态页面（三）

前言

　　在前边两节我们分析了两个动态页面，过程还算简单。今天，我们来看一个复杂的例子。本来博主自己找到了一个例子准备分析的。不过，在分析时偶然搜到一篇分析动态页面的文章，过程详细清晰，且过程一波三折。博主抱着学习与分享的心态转载再创造这片文章，不过经过博主自己的实践，整个过程有一些小问题，在后边也会指出，原文参考自崔老师崔庆才的博客。

正文

疑难杂症

　　中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、AQI 等数据，链接为：https://www.aqistudy.cn/html/city_detail.html，预览图如下：

通过这个网站我们可以获取到各大城市任何一天的天气数据，对数据分析还是非常有用的。

　　然而不幸的是，该网站的数据接口通信都被加密了。经过分析之后发现其页面数据是通过 Ajax 加载的，数据接口地址是：https://www.aqistudy.cn/apinew/aqistudyapi.php，是一个 POST 形式访问的接口，这个接口的请求数据和返回数据都被加密了，即 POST 请求的 Data、返回的数据都被加密了，下图是数据接口的 Form Data 部分，可见传输数据是一个加密后的字符串：

　　下图是该接口返回的内容，同样是经过加密的字符串：

　　遇到这种接口加密的情况，一般来说我们会选择避开请求接口的方式进行数据爬取，如使用 Selenium 模拟浏览器来执行。但这个网站的数据是图表展示的，所以其数据会变得难以提取。

　　那怎么办呢？刚啊！

一刚到底

　　之前的老法子都行不通了，那就只能上了！接下来我们就不得不去分析这个网站接口的加密逻辑，并通过一些技巧来破解这个接口了。
　　首先找到突破口，当我们点击了这个搜索按钮之后，后台便会发出 Ajax 请求，说明这个点击动作是被监听的，所以我们可以找一下这个点击事件对应的处理代码在哪里，这里可以借助于 Firefox 来实现，它可以分析页面某个元素的绑定事件以及定位到具体的代码在哪一行，如图所示：

　　这里我们发现这个搜索按钮绑定了三个事件，blur、click、focus，同时 Firefox 还帮助我们列出来了对应事件的处理函数在哪个代码的哪一行，这里可以看到 click 事件是在 city_detail.html 的第 139 行处理的，而且是调用了 getData() 函数。

　　接下来我们就可以顺藤摸瓜，找到 city_detail.html 文件的 getData() 函数，然后再找到这个函数的定义即可，很容易地，我们在 city_detail.html 的第 463 行就找到了这个函数的定义：
　　
　　经过分析发现它又调用了 getAQIData() 和 getWeatherData() 两个方法，而这两个方法的声明就在下面，再进一步分析发现这两个方法都调用了 getServerData() 这个方法，并传递了 method、param 等参数，然后还有一个回调函数很明显是对返回数据进行处理的，这说明 Ajax 请求就是由这个 getServerData() 方法发起的，如图所示：
　　
　　所以这里我们只需要再找到 getServerData() 方法的定义即可分析它的加密逻辑了。继续搜索，然而在原始 html 文件中没有搜索到该方法，那就继续去搜寻其他的 JavaScript 文件有没有这个定义，终于经过一番寻找，居然在 jquery-1.8.0.min.js 这个文件中找到了：
　　
　　有的小伙伴可能会说，jquery.min.js 不是一个库文件吗，怎么会有这种方法声明？嗯，我只想说，最危险的地方就是最安全的地方。
　　
　　好了，现在终于找到这个方法了，可为什么看不懂呢？这个方法名后面怎么直接跟了一些奇怪的字符串，而且不符合一般的 JavaScript 写法。其实这里是经过 JavaScript 混淆加密了，混淆加密之后，代码将变为不可读的形式，但是功能是完全一致的，这是一种常见的 JavaScript 加密手段。

　　那到这里了该怎么解呢？当然是接着刚啊！

反混淆

　　JavaScript 混淆之后，其实是有反混淆方法的，最简单的方法便是搜索在线反混淆网站，这里提供一个：http://www.bm8.com.cn/jsConfusion/，我们将 jquery-1.8.0.min.js 中第二行 eval 开头的混淆后的 JavaScript 代码复制一下，然后粘贴到这个网站中进行反混淆，就可以看到正常的 JavaScript 代码了，搜索一下就可以找到 getServerData() 方法了，可以看到这个方法确实发出了一个 Ajax 请求，请求了刚才我们分析到的接口：