Python 爬取 5000 条评论,告诉你为什么《哪吒》 5 天破 10 亿!

640?wx_fmt=gif

640?wx_fmt=jpeg 作者 | 菜鸟学Python 责编 | 伍杏玲 本文经授权转载自菜鸟学Python(ID:cainiao_xueyuan) 不知道大家最近有没有去看电影,最近身边的朋友都在向我安利一部叫做《哪吒之魔童降世》的动漫电影。大家无一例外,都说非常的好看。
看一下最近的微信搜索指数,比火热的电视剧“亲爱的热爱的”搜索指数要高出近6倍,比迪斯尼的“狮子王”要高出22倍,确实非常火。 640?wx_fmt=jpeg 我抱着好奇的心态,去猫眼上看了一下,结果显示在接近84万人评分的情况下,评分竟然高达9.7分。看了这确实是一部好剧,也值得我去爬取一下大家的评论,并进行一波分析,从中发现一些值得关注的东西。 640?wx_fmt=png



640?wx_fmt=png 数据的获取
首先是关于数据的爬取,数据的爬取相对简单,大家只需要打开猫眼网里面这部片子的网址,便可以看到下面的影评。在开发者模式中,切换到移动端,便可以看到影评,如果大家仔细观察,可以发现,影评是动态加载的,如下图所示: 640?wx_fmt=gif 动态加载的话,大家只需要在NetWork下的XHR内,仔细观察,便可以发现网页动态加载的JSON数据,也就是我们要爬取的数据。如下图所示。 640?wx_fmt=png (动态图) 接下来就是利用简单的爬虫进行爬取了,部分代码如下图所示。 640?wx_fmt=png 爬取的过程其实很简单,通过手机端的链接进去,然后循环爬取,用BS进行解析即可,然后把保存为JSON文件。
640?wx_fmt=png 数据的分析


爬取完数据之后,接下来便是数据的分析,上述的数据中,大概有5000多条。(先爬5000条,高并发几十万条需要用分布式爬虫才可以) 640?wx_fmt=png 小编爬到了评论者的性别(0为未知,1代表男,2代表女)、等级、所在城市、评分以及评语。 640?wx_fmt=png
640?wx_fmt=png 影评分析
用Python做可视化分析的工具很多,目前比较轻量级好用的库是PyEcharts,在公众号里面多次讲解过它的用法,这里就不详细重复了!我们看快速看一下近5000条影评的数据可视化结果: 1、总体评分 《哪吒》在猫眼中的总体评分为9.7分,这个分数无疑是非常高的。超过了国产动画 比如“白蛇传”。从评分分布来看,大多数评分都给了满分,占总数的86.5%,其次是4.5分,占总数的7.7%,给到3分及以下的人非常少,还不足总人数的5%,要知道众口难调,这个差评比例在电影中可以算非常低的了。 640?wx_fmt=png 2、性别差异 通常来说这种国产动画的“大片”比较符合大众口味,从评论者性别分布数据来看,虽然有接近一半的人不愿透露性别,但从已知数据判断,观影男女比例约为1:1多一点,女性观众的比例稍微高一点。 640?wx_fmt=png 3、城市分布
接下来小编分析了评论者所在的城市分布。首先是直方图的来粗略的展示前十大热门的影迷城市,如下图所示: 640?wx_fmt=jpeg 直方图的展示不是很直观也不全面,因此,小编采用地图的形式,为大家更加直观的进行展示,由于观影者的城市地理位置可能没有出现在程序的设置中,因此,小编只选取了观影城市最多的前八十个城市作为动态展示,如下图所示: 640?wx_fmt=gif (动态图) 4、评论内容
首先整合评论内容,然后利用WordCloud库绘制词云图,从词云分析情况来看,满屏的“好看”,“不错”,“特效”等赞美的词语,与以往的电影不同的是,“剧情”,“故事”等字眼也特别醒目。 640?wx_fmt=png 其实这部大片,算是国产动画电影里面的大制作,电影制作花了5年的时间,剧本改了60几个版本,制作的团队高达千人。电影里面有1800多个镜头,有1300多个是特效,这样的用心之作难怪上映之后,口碑爆棚啊! 而且导演还有很多致敬 星爷的地方,比如太乙真人那段,很像功夫片段里面的桥段,最搞笑的还有一本《神仙的自我修养》,好了不剧透了,大家赶紧去电影院看一下吧。

640?wx_fmt=png

640?wx_fmt=gif

640?wx_fmt=png

 热 文 推 荐 

北上深人均月薪超 2 万元,清华近三成毕业生年入 50 万+,5G 人才月薪超 4 万

 我在矿上写代码 | 程序员有话说

5G 会榨干手机的电池?

吴军:站在浪潮之巅,5G 和 IoT 才是未来 10 年的浪潮 | 人物志

入门必备 | 盘点11个常用的区块链开发工具,年薪百万的工程师都是从玩转它们开始的

如何从零开始设计一颗芯片?

200行代码解读Github冠军项目背后的定时器

自然语言处理十问!独家福利

为什么雷军说“华为不懂研发”?

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值