charles、mitmproxy和appium联合爬取壹品仓App商品数据
一、项目介绍:
本次主要是想爬取壹品仓APP里的发布的品牌数据信息(图片、品牌介绍、活动截止时间等)和相应品牌的产品的具体信息(包括图片、商品介绍、商品库存、商品尺码、商品原价、商品现价等),项目github地址为:壹品仓App爬虫
查看更多python相关内容,可以查看我的个人网站大圣的专属空间
二、所使用的工具:
本次爬虫所使用的工具有:
pycharm、python、mitmproxy、appium、夜神模拟器、mongodb数据库,charlse其中mitmproxy、mongodb、夜神模拟器的安装请参考以前的博客内容:【APP爬虫】mitmproxy抓包工具和夜神模拟器爬取得到APP,appium、charles请参考自行在网上搜索安装或者参考崔大大的《python3网络爬虫开发实战书》,需要电子版本的可在评论区留邮箱,项目开始前请确保所有环境均配置成功,具体配置遇到问题请自行搜索,博主在此暂时不做工具安装的介绍,如果以后有机会将工具安装单独总结一篇。
三、开始项目的具体实现
本项目的代码目录如下:
3.1 chales抓包
首先,我们在pycharm里面的Terminal里面输入nox_adb.exe connect 127.0.0.1:62001,开启夜神模拟器,输入adb devices可查看是否已经链接上模拟器:具体如下图所示:
然后我们打开我们的chales抓包工具,左侧可以看到抓取的url链接,右侧显示其内容:
接下来在我们点击打开夜神模拟器:
我们可以看到charles抓包工具开始获取相关链接,我们可以看到一个链接http://ypc.gongchengtemai.com,然后点开shop里面的homev5里面的homeindex,即可看到我们所需的品牌相关信息,如下:
接下来我们点击进入某个品牌,进入其详细商品界面,我们可以