之前就 App 爬虫写了一个大概的流程,如何采集 APP 上的数据 但是在实际情况中,你会遇到各种各样的问题。编写爬虫的过程,就是破解 App 接口的过程,很多情况都是需要猜的。
今天就谈谈我在 App 爬虫过程中遇到的一些坑
我之前抓 app 包用的是安卓模拟器,但是模拟器太消耗资源了,我的 Mac 不一会儿就吱吱响~ 实在是有点儿心疼。所以这次我使用的是 小米 PAD2,顺便吐槽一下,千万别买小米 PAD,做的太鸡儿烂了…
下面是 app 抓包的一般流程:
-
抓包工具 Charles 启动
-
Charles 设置网络代理
-
手机连接局域网 WiFi,并配置代理
-
Charles 安装证书
-
手机安装证书(只需要用于网络就可以了)
但是发现装好 CA 证书 后 app 出现网络不可用,但是百度是可以打开的,例如我这次破解的是抖音
后通过 Google 原因大概是在对安卓手机 app 抓包时,出现的 https 报文通过 MITM 代理后证书不被信任的问题,要解决这个问题要使用的工具是:Xposed
+ JustTrustMe
呃。。。不要在意那些细节,说白了就是需要在手机端安装两个 app,就可以关闭 SSL 证书验证
下载地址:
Xposed:https://download.csdn.net/download/yilovexing/11180495
JustTrustMe:https://download.csdn.net/download/yilovexing/11180499
详情请移步:https://www.jianshu.com/p/310d930dd62f
还有一种方法: Burp Suite 渗透 我没有试过,有兴趣的可以试试
对了,如果是 Mac 版本的话,要和安卓设备互传文件就需要用到 Android File Transfer
官网:https://www.android.com/filetransfer/
如果打不开就使用下面的地址下载
下载地址:https://download.csdn.net/download/yilovexing/11180487
可是接下来的问题就有些让人蛋疼了,要安装这连个软件就需要 root 权限,现在的设备基本上都有 Bootloader 锁,一键 root 的工具我试过了很多,都不好使,所以,你要是小米设备的话就去看这两篇文档,就可以 root 了
小米解锁:http://www.miui.com/thread-3367802-1-1.html
小米平板Root失败解决办法:http://www.mz6.net/news/2015-05-15/2197.html
好了,经过一系列的艰难险阻,我们终于可以进行愉快的抓包了~ 开心
不过。。。你以为这样就结束了吗?那样就图样了,真正的苦难才刚刚开始,分析接口,猜参数、反爬。。。哪一个不整死你,这才是刚刚开始,哈哈 ?