爬虫app相关库的抓取

除了Web网页，爬虫也可以抓取App的数据。App中的页面要加载出来，首先需要获取数据，而这些数据一般是通过请求服务器的接口来获取的。由于App没有浏览器这种可以比较直观地看到后台请求的工具，所以主要用一些抓包技术来抓取数据。

抓包工具有Charles、mitmproxy和mitmdump。一些简单的接口可以通过Charles或mitmproxy分析，找出规律，然后直接用程序模拟来抓取了。但是如果遇到更复杂的接口，就需要利用mitmdump对接Python来对抓取到的请求和响应进行实时处理和保存。另外，既然要做规模采集，就需要自动化App的操作而不是人工去采集，所以这里还需要一个工具叫作Appium，它可以像Selenium一样对App进行自动化控制，如自动化模拟App的点击、下拉等操作。

介绍一下Charles、mitmproxy、mitmdump、Appium的安装方法。

Charles的安装

Charles是一个网络抓包工具，相比Fiddler，其功能更为强大，而且跨平台支持得更好，所以这里选用它来作为主要的移动端抓包工具。

mitmproxy的安装

mitmproxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它通过控制台的形式操作。

此外，mitmproxy还有两个关联组件，一个是mitmdump，它是mitmproxy的命令行接口，利用它可以对接Python脚本，实现监听后的处理；另一个是mitmweb，它是一个Web程序，通过它以清楚地观察到mitmproxy捕获的请求。

来了解一下mitmproxy、mitmdump和mitmweb的安装方式。

pip3 install mitmproxy

Linux下的安装

在Linux下，可以下载编译好的二进制包（下载地址https://github.com/mitmproxy/mitmproxy/releases/），此发行包一般是最新版本，它包含了最新版本的mitmproxy和内置的Python3环境，以及最新的OpenSSL环境。

如果你的环境里没有Python3和OpenSSL环境，建议使用此种方式安装。
下载之后，需要解压并将其配置到环境变量：

tar -zxvf mitmproxy-2.0.2-linux.tar.gz
sudo mv mitmproxy mitmdump mitmweb /usr/bin

这样就可以将3个可执行文件移动到了/usr/bin目录。而一般情况下，/usr/bin目录都已经配置在了环境变量下，所以接下来可以直接调用这3个工具了。

Appium的安装

Appium是移动端的自动化测试工具，类似于前面所说的Selenium，利用它可以驱动Android、ios等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/。我们就来了解一下Appium的安装方式。

首先，需要安装Appium。Appium负责驱动移动端来完成一系列操作，对于iOS设备来说，它使用苹果的UIAutomation来实现驱动；对于Android 来说，它使用UIAutomator 和Selendroid来实现驱动。

同时Appium也相当于一个服务器，我们可以向它发送一些操作指令，它会根据不同的指令对移动设备进行驱动，以完成不同的动作。

安装Appium有两种方式，一种是直接下载安装包Appium Desktop来安装，另一种是通过Node.js来安装，下面我们介绍一下这两种安装方式。

npm install -g appium