猫眼电影影评爬取

前言

前段时间，热播的电影《少年的你》，不知道大家看了吗？反正，我是看完了，至于这部电影怎么样，我就不做评论了，这个任务还是留给网友去做吧！好了，进入正题，今天我们要做的是猫眼电影影评的爬取。
下面我以电影《少年的你》为例进行分析。

思路分析

电影的影评接口如下（这个可以在网上搜到，也可以自己抓包分析）：
http://m.maoyan.com/mmdb/comments/movie/1218029.json?v=yes&offset=0
这里简单的分析一下参数的含义：
1218029：猫眼电影的ID（这里就是《少年的你》的电影ID了）
offset：偏移，貌似是依次增加15
我们可以每次增加offset来进行爬取，即让offset每次增加15。我们通过这种方式来构造URL，发送请求即可。
关于数据存取，我们可以存储到数据库，也可保存到文件，这里由于我爬取的数据较少，就直接保存到文件了。
通过这个URL请求返回的是json数据，我们可以用Python的json模块进行解析，再用pandas保存成CSV文件就行了。

完整代码

# ！/usr/bin/env python
# —*— coding: utf-8 —*—
# @Time:    2020/1/22 16:47
# @Author:  Martin
# @File:    maoyan.py
# @Software:PyCharm
import requests