如果要完成复杂的操作,加快爬虫的效率,就必须破解 App 端的登录,获取一些关键的数据,直接模拟接口请求,达到快速高效地爬取数据的目的。
准备工作
在开始编写脚本之前,需要做好如下准备工作
1、待破解的 APK 应用,可去官网或者各大应用市场去下载,然后安装应用到手机中
2、反编译工具,MAC OSX 推荐 Android Crack Tool 工具集,Win OS 可以使用 dex2jar 来反编译 APK 应用包
3、源码浏览工具:jadx-gui
4、抓包工具:Charles 或者 Fiddler
编写脚本
第 1 步,确保手机配置好代理之后,就可以利用 Charles 对「获取验证码」和「登录」进行抓包操作,得到请求地址、请求参数和请求头等数据。
第 2 步,对请求参数、请求头中「没有规律的数据」寻找生成的