爬取中国空气质量在线监测分析平台

1.准备，爬取的链接地址

https://www.aqistudy.cn/html/city_detail.html

2.分析

a.当打开链接后，数据已经设置好了，说明里面大部分都是js通过ajax调用的，

b.打开f12分析代码

通过捕获到的数据包，发现当前请求为ajax，携带着一个为d的参数且该请求携带的数据是加密过的，并且响应也是加密过的

 c.这时候的问题就是我们不知道加密和解密是怎么完成的，如果不能解决这个问题，我们就无法继续进行。

解决思路：这里要使用火狐浏览器，火狐浏览器可以轻松看到放在html里面的javascript代码

d.放在谷歌里面，搜索方法

 - 接着分析这两个方法getWeatherData内部的实现，该两个方法就在getData实现的下方。再进一步分析发现这两个方法都调用了 getServerData() 这个方法，并传递了 method、param 等参数，然后还有一个回调函数很明显是对返回数据进行处理的，这说明 Ajax 请求就是由这个 getServerData()方法发起

 

 - 定位getServerData方法，查看其内部的具体实现。在谷歌浏览器中开启抓包工具，然后对该网站的首页https://www.aqistudy.cn/html/city_detail.html发起请求，捕获所有的数据包，然后在所有的数据包中实现全局搜索，搜索该方法是存在哪个文件中的。

 

 - JavaScript 混淆：我们会惊讶的发现getServerData后面跟的是什么鬼啊？不符合js函数定义的写法呀！！！其实这里是经过 JavaScript 混淆加密了，混淆加密之后，代码将变为不可读的形式，但是功能是完全一致的，这是一种常见的 JavaScript 加密手段。我们想要查看到该方法的原始实现则必须对其进行反混淆。

- 反混淆：JavaScript 混淆之后，其实是有反混淆方法的，最简单的方法便是搜索在线反混淆网站，这里提供一个：http://www.bm8.com.cn/jsConfusion/