记一次抓包和破解App接口

第一章 · 起源

某日，想做个爬虫工具，爬某个网站上的数据已做实验之用。大家都知道爬pc网页上的数据有几个常见的问题：首先是数据不规范需要自己解析html，第二现在很多网站是前端动态渲染的，直接爬取的html可能就是个静态页面什么也没有，还需要执行js才能生成最终的页面。因此就考虑，能否用它App的接口去爬数据，因为一般App调用的接口返回的都是json格式，解析起来比较方便。

第二章 · 尝试

既然要抓取App的接口，肯定需要抓包，现在接口一般都用的https通信，直接抓二进制的tcp包是无法解密的。想到用Fiddler，它的原理很简单，就是启动一个https代理服务器，手机上设置Fidder启动的代理服务ip和端口。这是第一步，第二步就是证书，Fiddler会自己生成一个证书，把这个证书作为根证书导入的手机中，这时手机对Fiddler返回的证书就是可信任的。通信的时候，Fiddler作为客户端它会和服务端建立https连接，得到解密后的数据，然后自己启动一个https的服务，把数据返回给手机端。手机端这个时候实际访问的是Fillder启动的https服务，验证的证书也是Fillder自己颁发的。至于https如何验证签名如何加密通讯的这里就不做展开了，有兴趣的可以自己查阅。

但是，必须要说的是这样配置代理用Fiddler抓包的确可以抓到用手机浏览器访问的内容，现在App为了防止代理模式抓https的包，一般都会把证书放到自己的App中，验证https server返回的证书和App中的证书是否一致，这个时候server返回的证书是Fiddler自己颁发的，肯定和App本地的不一样所以App这时是无法访问接口的。

为什么Fiddler要自己颁发一个证书呢？这是由于Fiddler需要把和服务端通信的内容解密，所以它作为一个正常的client端先和服务端建立连接，验证服务端的证书，用服务端的证书上的公钥加密自己生成的对称秘钥，服务端拿到对称秘钥后用私钥解密，双方都知道对称秘钥，之后的通信用对称秘钥加解密。同理Fiddler作为App的代理服务器，也是要和app建立https连接的，这时如果直接返回服务端上的证书，App用服务端上证书的公钥加密App生成的对称秘钥。但是Fiddler没有证书的私钥，所以Fiddler需要自己颁发一个证书，有公私钥