【APP爬虫】mitmproxy抓包工具和夜神模拟器爬虫

mitmproxy抓包工具和夜神模拟器爬取APP的数据

一、相关软件的安装

工欲善其事，必先利其器，要实现我们的需求，当然是先准备我们所需的工具，本次主要主要用的工具有：
查看更多python相关内容，可以查看我的个人网站：大圣的专属空间

• python（这个在此处不提，自行百度进行安装，注意环境变量的配置）
• pycharm（代码编辑器，博主采用的pycharm专业版)
• Visual Studio Code（这个也是个编辑器，安装也很简单，自行百度即可，根据自己喜好选择即可）
• Android SDK(安卓开发环境)
• java SDK(安卓开发依赖环境，其他抓包软件也需要安装)
• mitmproxy（抓包工具，安装方式下面说明）
• mongodb（非关系型数据库）
• RoboMongo/Robo 3T（可视化工具RoboMongo/Robo 3T，下载链接为可视化工具下载）
• 夜神模拟器（手机模拟器，博主开始采用的真机，后来因为老连接出问题及每次用数据线连接太麻烦，所以选择采用模拟器的形式，本次采用夜神模拟器）

安装包如下图所示：

注意（安装过程遇到问题请查看）：

• Android SDK安装
  对于Android SDK的安装，博主主要参考崔大大的博客安卓SDK环境配置

• Java SDK安装
  此软件安装按照百度搜索出来的即可：JDK安装

• mitmproxy安装过程中遇到的问题

1. pip install mitmproxy安装过程中的问题

针对mitmproxy的安装，按照崔大大的博客安装教程mitmproxy的安装即可，不过博主的安装过程中运行pip install mitmproxy出现了以下问题：