Python爬猫眼电影影评及可视化 Robin NJU

1.Fiddler4抓包分析影评数据接口

1.1 基本设置

①电脑端：下载Fiddler4

设置：tools-options-connections-allow
remote computers to connect

查看电脑IP：鼠标移至Fiddler界面右上角处，即可显示本机IP

②手机端：与电脑连接同一个局域网，设置局域网手动代理，代理地址为电脑IP

手机安全证书:输入http://ipv4.fiddler:8888/ 点击fiddlerroot certificate安装证书

1.2
开始抓包

在手机上打开猫眼专业版，搜索电影短评，往下滑，Fiddler上不断刷新抓到的包

1.3
抓包分析

Fiddler上找到端口，打开raw数据，就可以找到影评的数据接口

Url对应的就是猫眼评论的接口，到浏览器里可以验证

1.4
额外发现

电脑上Fiddler抓包，可以得到JSON格式数据包

以及使用app时的定位

2.Python爬取网站接口内影评

2.1 源代码

import requests
import json
import time
import random

#下载第一页数据
def get_one_page(url):
headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36’
}
response = requests.get(url,headers=headers)
if resp