python爬猫眼电影影评,Python系列爬虫之爬取并简单分析猫眼电影影评

前言

今天给大家介绍利用Python爬取并简单分析猫眼电影影评。让我们愉快地开始吧~

开发工具

Python版本：3.6.4

相关模块：

requests模块；

pyecharts模块；

jieba模块；

scipy模块；

wordcloud模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

我们想要爬取的数据是猫眼电影中某部电影下方的评论信息：

image.png

由于PC端每部电影的评论数据只显示几条而已，因此我们选择爬取移动端的影评数据，这里以电影“狗十三”为例，移动端地址为：

注：78480为电影编号，可根据你自己的需求修改。

它大概长这样：

图片

简单抓包可得：

图片

即对其添加页码和时间信息即可获得对应的影评数据，于是我们就可以开始写代码了：

image.png

在cmd窗口运行maoyan.py文件测试一下代码，效果如下图所示：

图片

爬取结果保存在comments_data.pkl文件中。

All Done！完整源代码详见主页获取相关文件。

数据分析

这里以爬取到的电影“狗十三”的影评数据为例，时间关系只爬了几千条数据，不过也足够用来做做简单的数据分析了~

首先，让我们来看看发布影评的网友在全国范围内的分布情况吧：

图片

再来看看发布影评的网友男女比例呗：

图片

再来看看电影的评分分布呗：

图片

把影评做成词云玩一哈？

图片

看看评论数量随日期的变化？

图片

为了帮助学习Python进步慢的伙伴们，在这里为大家准备了丰富的学习大礼包

image