app爬虫及其代理

在我们进行爬虫的项目时，可能会遇到客户指定的app数据抓取，这里将为大家讲解一下

这里我们需要一个模拟器和中间数据抓包工具。模拟器的话大家自行在网上下载都可，数据抓包工具我使用的是Reqable。

然后就是两者之间的联系配置

在Reqable的顶部中的Proxying on部分就是自己的代理ip：端口，端口可以随意设置：9999，8080都可，在明确自己的代理 ip：端口 后就需要为模拟器进行配置

打开自己的模拟器，选择设置后点击的wlan项，点击设置，找到修改项，选择手动代理，依次填入代理服务器主机名和代理服务器端口，点击保存即可。

在将这些配置完之后在它自带的浏览器当中搜索数据网址可能会出现安全警告，影响后续的数据抓取，所以这里推荐在网页上找其他浏览器的apk文件拖到模拟器中下载使用即可。 

到这里所有配置完后，先后打开Repable和模拟器，在模拟器进入到你要抓取数据的网址后，点击抓包工具的启动即可。

这里就可以看到你所需要的各种数据。

同理，如果需要抓取app中的数据，可以网上找到apk文件进行下载，重复以上操作即可。还需要注意一个点就是，在使用抓包工具抓取到的数据都是可以直接在相关开发者页面找到的。但是，有一些app的某些数据会进行数据加密，就需要运用到app逆向的相关知识进行操作。