1.Fiddler4抓包分析影评数据接口
1.1 基本设置
①电脑端:下载Fiddler4
设置:tools-options-connections-allow
remote computers to connect
查看电脑IP:鼠标移至Fiddler界面右上角处,即可显示本机IP
②手机端:与电脑连接同一个局域网,设置局域网手动代理,代理地址为电脑IP
手机安全证书:输入http://ipv4.fiddler:8888/ 点击fiddlerroot certificate安装证书
1.2
开始抓包
在手机上打开猫眼专业版,搜索电影短评,往下滑,Fiddler上不断刷新抓到的包
1.3
抓包分析
Fiddler上找到端口,打开raw数据,就可以找到影评的数据接口
Url对应的就是猫眼评论的接口,到浏览器里可以验证
1.4
额外发现
电脑上Fiddler抓包,可以得到JSON格式数据包
以及使用app时的定位
2.Python爬取网站接口内影评
2.1 源代码
import requests
import json
import time
import random
#下载第一页数据
def get_one_page(url):
headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36’
}
response = requests.get(url,headers=headers)
if response.status_code == 200:
return response.text
return None
#解析第