网络爬虫-神器fiddler抓取app数据

才接触爬虫的时候，我们通常使用的是浏览器的开发者工具-F12里的NetWork对网页进行抓包，但是这有一个缺点，就是如果网页加载了很多乱七八糟的东西，比如广告啊，各种各样的js之类的时候，NewWork就显得有点吃力了，我们就需要使用更强大的工具来进行抓包，我个人比较喜欢使用Fiddler，毕竟免费的好用，另外有喜欢的朋友也可以使用Charles，它只能免费使用一段时间。
这里贴出下载地址：
fiddler官网下载
charles官网下载

这里对fiddler进行测试。
安装好之后，我们打开fiddler，然后打开浏览器，就可以看到，现在fiddler代替了我们的开发者工具，对http请求进行了抓取，这时候我们还需要进行一些设置，让它可以抓取https请求。

注意

如果是要对app进行抓包，请将 from browser only 改为 from all processes.

下面是对app抓包的配置。

下面就需要使用真机，或者模拟器了，这里推荐一款模拟器，逍遥安卓模拟器。
传送门 --> 逍遥安卓模拟器官网

下载好之后打开如下图。

这时候需要对模拟器进行配置，真机也是同样步骤~！

代理服务器主机名可以打开cmd输入ipconfig进行查看，代理服务器端口号是根据你的fiddler的代理端口号对应的。完成这一项步骤后点击保存即可。

但是现在还无法对手机app进行抓包，需要安装证书，这时候打开手机自带的浏览器，在地址栏输入你的代理服务器名+端口号 ，如下图

点击 FiddlerRoot certificate 下载安装证书即可。

大功告成

现在我们就可以对app进行抓包操作了，以酷航app为例：

可以看到 我们已经将酷航app的查询请求抓取下来了，可以对它进行重发以及各种花里胡哨的操作了~

但是如果还需要进一步的了解的话，比如酷航app会产生一个wtoken参数，这个就例如网页中的js加密一般，是在apk底层生成的，需要我们去捕获进行模拟生成，因为这个会在服务器上进行验证，网页端的js加密token也是如出一辙，这就需要涉及到安卓的逆向工程以及反编译了，有兴趣的童鞋也可以去了解一下，需要一定的java基础哦！

有需要帮助的童鞋可以进行留言一起探讨，一起学习进步 ~！