Python爬虫-Scrapy框架

抓取手机app的数据

爬虫是CS中c端，原理是模拟浏览器向服务器发送请求，如果要爬手机APP的数据原理相同，APP也是客户端与浏览器性质相同。我们只要能获取到手机APP给服务器发送的数据，并加以分析就能模拟它的请求从而获取到数据

# 实现思路
在app和服务器之间设置一个代理服务器
1. app的请求先发给代理服务器
2. 代理服务器把请求转发给真实服务器
3. 真实服务器返回数据给代理服务器
4. 代理服务器将数据返回给app客户端

# 需要的工具软件
1. charles    代理服务器
2. postman    模拟请求的工具

# 手机app的爬取流程
1. 安装charles并启动，安装完成后即可代理windows的请求可以抓取windows软件的请求数据
2. 让手机与charles所在的电脑处于同一局域网
3. 将手机的代理服务器设置为charles
4. 如果要获取HTTPS请求，需要安装证书
(1)安装服务器证书
help -> SSL Proxying -> install Charles Root Certificate
需要安装在受信任的颁发机构中

(2)安装手机证书
help -> SSL Proxying -> install Charles Root Certificate on a Mobile Device or Remote Browser 
手机访问提示的地址，安装证书

Proxy -> SSL Proxying Settings -> 设置Host*和Port443
设置允许所有的443的端口访问，因为https访问的端口号是443

Scrapy框架

安装