【壹品仓App爬虫】charles、mitmproxy和appium联合爬取壹品仓App商品数据

charles、mitmproxy和appium联合爬取壹品仓App商品数据

一、项目介绍：

本次主要是想爬取壹品仓APP里的发布的品牌数据信息（图片、品牌介绍、活动截止时间等）和相应品牌的产品的具体信息（包括图片、商品介绍、商品库存、商品尺码、商品原价、商品现价等），项目github地址为：壹品仓App爬虫
查看更多python相关内容，可以查看我的个人网站大圣的专属空间

二、所使用的工具：

本次爬虫所使用的工具有：
pycharm、python、mitmproxy、appium、夜神模拟器、mongodb数据库，charlse其中mitmproxy、mongodb、夜神模拟器的安装请参考以前的博客内容：【APP爬虫】mitmproxy抓包工具和夜神模拟器爬取得到APP，appium、charles请参考自行在网上搜索安装或者参考崔大大的《python3网络爬虫开发实战书》，需要电子版本的可在评论区留邮箱，项目开始前请确保所有环境均配置成功，具体配置遇到问题请自行搜索，博主在此暂时不做工具安装的介绍，如果以后有机会将工具安装单独总结一篇。

三、开始项目的具体实现

本项目的代码目录如下：

3.1 chales抓包

首先，我们在pycharm里面的Terminal里面输入nox_adb.exe connect 127.0.0.1:62001，开启夜神模拟器，输入adb devices可查看是否已经链接上模拟器：具体如下图所示：

然后我们打开我们的chales抓包工具，左侧可以看到抓取的url链接，右侧显示其内容：

接下来在我们点击打开夜神模拟器：

我们可以看到charles抓包工具开始获取相关链接，我们可以看到一个链接http://ypc.gongchengtemai.com，然后点开shop里面的homev5里面的h