猫眼电影影评爬取

最新推荐文章于 2022-01-15 12:00:00 发布

「已注销」

最新推荐文章于 2022-01-15 12:00:00 发布

阅读量3.1k

点赞数 4

分类专栏： Web Crawler 文章标签： python

本文链接：https://blog.csdn.net/Deep___Learning/article/details/104079588

版权

本文介绍了如何爬取猫眼电影《少年的你》的影评，分析了接口URL的参数含义，使用Python进行数据请求和JSON解析，并将数据保存为CSV文件。过程中遇到的编码问题及解决方案也进行了说明。

摘要由CSDN通过智能技术生成

文章目录

前言

前段时间，热播的电影《少年的你》，不知道大家看了吗？反正，我是看完了，至于这部电影怎么样，我就不做评论了，这个任务还是留给网友去做吧！好了，进入正题，今天我们要做的是猫眼电影影评的爬取。
下面我以电影《少年的你》为例进行分析。
在这里插入图片描述

思路分析

电影的影评接口如下（这个可以在网上搜到，也可以自己抓包分析）：
http://m.maoyan.com/mmdb/comments/movie/1218029.json?v=yes&offset=0
这里简单的分析一下参数的含义：
1218029：猫眼电影的ID（这里就是《少年的你》的电影ID了）
offset：偏移，貌似是依次增加15
我们可以每次增加offset来进行爬取，即让offset每次增加15。我们通过这种方式来构造URL，发送请求即可。
关于数据存取，我们可以存储到数据库，也可保存到文件，这里由于我爬取的数据较少，就直接保存到文件了。
通过这个URL请求返回的是json数据，我们可以用Python的json模块进行解析，再用pandas保存成CSV文件就行了。

完整代码

# ！/usr/bin/env python
# —*— coding: utf-8 —*—
# @Time:    2020/1/22 16:47
# @Author:  Martin
# @File:    maoyan.py
# @Software:PyCharm
import requests