前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
App中的数据可以用网络爬虫抓取么
答案是完全肯定的:凡是可以看到的APP数据都可以抓取。
下面我就介绍下自己的学习经验和一些方法吧 本篇适合有过web爬虫基础的程序猿看
没有的的话学的可能会吃力一些
App接口爬取数据过程
-
使用抓包工具
-
手机使用代理,app所有请求通过抓包工具
-
获得接口,分析接口
-
反编译apk获取key
-
突破反爬限制
需要的工具:
-
夜神模拟器
-
Fiddler
-
Pycharm
实现过程
首先下载夜神模拟器模拟手机也可以用真机,然后下载Fiddler抓取手机APP数据包,分析接口完成以后使用Python实现爬虫程序
Fiddler安装配置过程
第一步:下载神器Fiddler
Fiddler下载完成之后,傻瓜式的安装一下!
第二步:设置Fiddler
打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)
选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求
选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来
记住这个端口号是:8888
夜神模拟器安装配置过程
第一步:下载安装
-
夜神模拟器下载完成之后,傻瓜式的安装一下!
第二步:配置桥接 实现互通
-
首先将当前手机网络桥接到本电脑网络 实现互通
安装完成桥接驱动后配置IP地址,要配成和本机互通的网段,配置完成后打开主机cmd终端ping通ok
第三步:配置代理
-
打开主机cmd