App的数据如何用python抓取

 

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

App中的数据可以用网络爬虫抓取么

答案是完全肯定的：凡是可以看到的APP数据都可以抓取。

下面我就介绍下自己的学习经验和一些方法吧 本篇适合有过web爬虫基础的程序猿看

没有的的话学的可能会吃力一些

 

App接口爬取数据过程

• 使用抓包工具

• 手机使用代理，app所有请求通过抓包工具

• 获得接口，分析接口

• 反编译apk获取key

• 突破反爬限制

 

需要的工具：

• 夜神模拟器

• Fiddler

• Pycharm

 

实现过程

首先下载夜神模拟器模拟手机也可以用真机，然后下载Fiddler抓取手机APP数据包，分析接口完成以后使用Python实现爬虫程序

 

Fiddler安装配置过程

第一步：下载神器Fiddler

Fiddler下载完成之后，傻瓜式的安装一下！

第二步：设置Fiddler

打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)

选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求

选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来

记住这个端口号是:8888

 

夜神模拟器安装配置过程

第一步:下载安装

• 夜神模拟器下载完成之后，傻瓜式的安装一下！

第二步:配置桥接 实现互通

• 首先将当前手机网络桥接到本电脑网络 实现互通

安装完成桥接驱动后配置IP地址，要配成和本机互通的网段，配置完成后打开主机cmd终端ping通ok

 

第三步:配置代理

1. 打开主机cmd