Appium抓取app数据

主流APP数据抓取难点:

 

 

1.请求参数加密

                -sign签名,使用sha1加上md5做辅助加密

 

2.请求body加密

                -整个请求体使用DES算法做加解密

 

3.代理检测反爬

                -抓包设置代理后,直接不再加载数据

 

4.私有CA证书反爬

                -由于公有的证书需要付费,有一些厂商(oppo)的证书为私有

 

 

 

解决办法:

 

一、暴力解决:

针对以上问题,暴力解决的方式就是一切不予解决,直接以侵入webview的方式获取数据。

 

优点:直接,简单,暴力

缺点:依赖appium环境,整套环境搭建安装起来还是比较麻烦,抓取效率低下

 

二、破解sign签名:

反编译源码进行动态调试,然后利用

 

优点:  抓取效率高

缺点:破解成本高,反编译浪费时间,成功概率较小,非常麻烦,需要看和调试代码

 

 

 

项目示例:(oppo软件商店抓取)

 

传统抓取方式的表现:

    按照传统步骤charles抓包,发现进入app详情和评论页面的时候出现CA证书无法加载!

 

分析问题:

    https是需要SSL认证的,所以去去请求的时候会带着CA证书来鉴定请求是否安全,对于

    一些比较重视安全的企业来说,app内置的CA证书就够用了,但是 发现oppo软件商店这

    款应用比较奇葩,CA证书是自己签发的,这样必须得绕过认证

 

解决CA自签发证书问题:

    那么解决方法就是不带https就好了,在模拟器中,安装以下内容

            Xposed框架     ——>  加载第三方模块库来侵入系统达到可自定制需求的目的

                需要做的事情:

                    1.模拟器需要root

                    2.在模拟器上安装xposed框架app

                    3.进入Xposed  app , 点击安装,完成之后可能卡死,重启就好

 

            JustTrustMe    ——>  安装

            SSLSping         ——>  安装

            这两个模块下载完成后,进入Xposed app选择模块,导入这两个模块后重启即可   

    这样就不再走https了,自然绕过了CA认证!

 

 

然后再通过传统的方式去抓包:

       抓取的结果如下:

            

 

 

发现问题:

        1. sign签名

        2.数据返回格式是x-protostuff (序列化协议)

        

 

解决问题(方式二:基于反编译源码动态调试): 

        破解app(这个在之后再做仔细的分析)

        

        1.下载apk,修改后缀为zip,解压之后拿到dex文件(dalvik虚拟机字节码,相当于java的class文件),使用apktool反编译dex2jar转化为jar文件(将smali代码转化为class文件,一般会有针对变量和方法名的混淆) , 再使用jd-GUI打开jar文件,这样就可以看到基本的代码了,但是仅仅只是看到代码而已,距离研究分析破解而言才刚刚开始。

 

 

       2.动态调试需要和反编译需要安卓环境的支持,这里暂时不做说明和实践。

 

 

 

 

解决问题(方式一:基于appium):

        appium是一款自动化测试移动端的工具,可以获取app的视图,那么问题就很好解决了。

 

        环境下载安装与配置

        1.安装appium-desktop ,下载后安装即可

        2.安装adb工具  (3个文件:adb.exe, xxxx.dll,xxxxx.dll) 将这三个文件放在c盘下的Windwos目录下

            都复制到System32 和SysWow目录下,最后在控制台输入adb命令就可以用了

        3.打开模拟器,打开开发者调试模式,进入系统的版本号,点击5次即可打开

        4.使用adb命令连接模拟器,adb connect 127.0.0.1:xxxx   

                   逍遥模拟器是21503

                   夜神模拟器是62001

                最后使用adb devices -l 查看连接的设备应该可以看到模拟器的设备名称

        5.下载Android idk环境,由于新版本(25.2+)的Android sdk会出现命令过时的情况,所以下载低版本的比较好

           下载完成之后配置android_home环境变量到Path下即可,这样可以在终端直接运行android sdk命令

        6.在终端运行android sdk 命令,下载那些sdk. 完成之后即可

        

        创建appium session:

        1.appium创建127.0.0.1的host

        2.配置参数如下json:

 

{

  "platformName": "Android",

  "platformVersion": " 4.4.4”,       ——> 模拟器android版本号

  "appPackage": "com.oppo.market”,         ——> main入口类位置

  "appActivity": "com.oppo.market.activity.MainActivity”,      ——>入口的activity

  "deviceName": “127.0.0.1:21503”,              ——>模拟器的host与端口

  “app": “c://xxxxx”               —> 模拟器app的位置

}

 

设置完成之后就可以看到app视图了,这样就可以拿数据了

                

 

怎么拿数据呢?

        appium提供不同版本的代码支持,可以调用seleium相关的api直接获取元素

    

 

依赖:appium => 

 

pip install Appium-Python-Client

 

 

方案架构图:

 

                                 请求                                                                代理请求发送

代码client        ————————>  appium-desktop-server   ————————>   adb server  ————>  app

 

 

可以看到,整个请求链经过了好几层转换,所以环境搭建是相对较难的,但是理清晰了还是很直接的。

 

 

 

 

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值