fidder/Charles抓包的历程

Python+爬虫+APP抓包

最近在搞APP，之前在学校搞过，直接fidder抓包，请求数据，就返回了想要抓的数据，可是，为啥这次值得我写篇博客记录呢？在此，先为自己掬一把辛酸泪。。。说多了都是坑啊！

介绍一下，疫情期间闲着，看c盘满满当当不顺眼，Python2到了2020年也不维护了，所以重装个系统吧！好吧，并没有啥因果关系，就是闲的。这下子来因果关系了，重新装fidder吧，度老师有很多很多教程，按着教程，PC端（win10）fidder配置，同一局域网，手机端（OPPO R9（Android 5.1））代理加证书安装，一顿操作猛如虎，一看要爬的目标APP们，不是显示网络无法连接，就是服务器无法连接，还有ca证书有问题，请设置网络。。。嗨，这连不上网，这要不就是pc端配置的问题，要不就是证书的问题，求教度老师，大概就是1、配置fidder没成功，再来一遍。2、手机证书有问题，重新下载安装一遍。3、注册表里加个十进制的80，在fidder加段代码。4、搞防火墙，要不就都关了，要不就允许fidder通过。5、fidder版本问题，2和4还要分一分。6、fidder和.Net Framework版本对应。基本上我把网上的方法都试了一遍，包括但不限于以上方法，fidder安装卸载，来来回回四次，我也是轴啊，跟fidder杠上了。然后，我就换个手机搞，但是华为荣耀V20（Android 10），一配置上代理，就直接弹出网络不可用。请教了个经验丰富的前辈，建议用安卓模拟器，遂下载了夜神模拟器，依然A，ndroid 5.1，同样的问题，心态有点崩，以上过程花了两天，周末就搞这个了。又然后，我发现浏览器上网无障碍，而我的目标APP有障碍！

我在上边的过程中，在一篇文章中看到一段话，有网页端就爬网页，有客户端就爬客户端，反正APP优先级放最后，于是就解决了我的目标APP之一，可是剩下的只能爬APP了。第三天就转变心态，不杠了，用Charles吧，同样请教度老师，又一顿猛如虎的操作，同fidder，啊！！！放心，没砸键盘。看了这么长时间，好像明白是证书的问题了，然后就发现了SSL Pinning这个东西，SSL Pinning是一种防止中间人攻击（MITM）的技术，主要机制是在客户端发起请求–>收到服务器发来的证书进行校验，如果收到的证书不被客户端信任，就直接断开连接不继续求情。所以在遇到对关键请求开启SSL Pinning的APP时，我们抓包就只能看到APP上提示无法连接网络或者请求失败之类的提示；而在抓包工具上面，要么就只能看到一排 CONNECT 请求，获取到证书却没有后续了，要么就是一些无关的请求，找不到想要的接口。感觉自己进入了一个未知的方向，能怎么办，一步一步走吧，一步一步百度吧，解决SSL Pinning，可以采用Xposed+JustTrustMe来解决。这个度老师也有很多教程，推荐这个，很不错的！https://book.crifan.com/books/app_capture_package_tool_charles/website/

但是，我按照教程一步一步走，发现问题还没有解决，找呀找，找呀找，原来JustTrustMe还有版本的问题，我改下载了JustTrustme4,binggo成功抓包！！！