Python爬虫--app数据抓取(1)

一、

1.安卓端模拟器环境搭建

2.抓包利器使用

3.自动化控制工具使用

4.利用Python编写爬虫app数据

5.打造基于docker的多app端数据抓取系统

 

二、

1.数据分析

2.用户画像

3. 统计系统

4.商业竞争

 

三、

1.简单

app里的数据比web端更容易抓取，反爬虫也没有那么强，大部分也都是http/https协议，返回的数据类型大多数为json

2.困难

 a.可能需要适当的反编译，分析出加密算法并抓取到信息

 b.可能加固，需要脱壳，然后反编译，分析出加密算法并抓取到信息

c.需要破解通过各式各样的签名，证书，设备绑定等方法，找到隐藏加密算法

 

Fiddler抓包软件介绍

优点：

       1.可以查看所有浏览器、客户端应用或服务器之间的web数据流

       2.手动或自动修改任意的请求和响应

       3.可以解密HTTPS数据流以便查看和修改

缺点：

        1.fiddler只是支持http、https、ftp、websocket等数据流相关协议

        2.无法检测或修改其他数据，如SMTP、POP3等

        3.fiddler无法处理请求和响应超过2GB的数据