用Python爬取陈奕迅新歌《我们》10万条评论的新发现

转载 2018年04月15日 00:00:00

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

编程狗编程大牛技术分享平台640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

最近就有一部“怀旧”题材的电影,未播先火,那就是刘若英的处女作——《后来的我们》。青春,爱情,梦想,一直是“怀旧”题材的核心要素,虽然电影现在还未上映,但先行发布的主题曲《我们》,已经虐哭了不少人。在MV里,歌声清清浅浅,诉说着那些年关于爱情里的遗憾。

“我最大的遗憾,就是你的遗憾,与我有关”,下面就一起来感受一下吧。

这首歌是《后来的我们》中的主题曲,网易云音乐上线当天便席卷千万+播放量,现如今光是网易云上面的评论就马上突破了10万条。

网易云音乐一直是我向往的“神坛“,听音乐看到走心的评论的那一刻,高山流水。于是来抓取一下歌曲的热门评论。并做成图表、词云来展示,看看相对于这首歌最让人有感受的评论内容是什么。

一、抓数据

要想做成词云图表,首先得有数据才行。于是需要一点点的爬虫技巧。

基本思路为:抓包分析、加密信息处理、抓取热门评论信息

1.抓包分析

我们首先用浏览器打开网易云音乐的网页版,进入陈奕迅《我们》歌曲页面,可以看到下面有评论。接着F12进入开发者控制台(审查元素)。

接下来就要做的是,找到歌曲评论对应的url,并分析验证其数据跟网页现实的数据是否吻合,步骤如下图:

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

通过歌曲id轻松找到评论所在的链接

640?wx_fmt=jpeg

查看hreaders的信息,发现浏览器使用的是POST的方式进行的请求

640?wx_fmt=jpeg

具体字段如上图,会发现表单中需要填两个数据,名称为params和encSecKey。后面紧跟的是一大串字符,换几首歌会发现,每首歌的params和encSecKey都是不一样的,因此,这两个数据可能经过一个特定的算法进行加密过的

640?wx_fmt=jpeg

服务器返回的和评论相关的数据为json格式的,里面含有非常丰富的信息(比如有关评论者的信息,评论日期,点赞数,评论内容等等),其中hotComments就是我们要找的热门评论,总共15条 

那我们的思路就很清晰了,只需要分析这个api并模拟发送请求,获取json进行解析就好了。

2.加密信息处理

然后经过我的测试,直接把浏览器上这俩数据拿过来就可以。但是要想真正的解决这个加密处理,还需要有点加解密的只是存储。

我们在这里就只需要用我们这种偷懒的办法就可以完成需求了。这里我就使用这么个临时的方法好了,而且对于不同的歌曲是可以重用的,待会我们可以验证一下。

3.抓取热门评论信息

代码块如下:

  1. import requests

  2. import json

  3. url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_551816010?csrf_token=568cec564ccadb5f1b29311ece2288f1'

  4. headers = {

  5.    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

  6.    'Referer':'http://music.163.com/song?id=551816010',

  7.    'Origin':'http://music.163.com',

  8.    'Host':'music.163.com'

  9. }

  10. #加密数据,直接拿过来用

  11. user_data = {

  12.    'params': 'vRlMDmFsdQgApSPW3Fuh93jGTi/ZN2hZ2MhdqMB503TZaIWYWujKWM4hAJnKoPdV7vMXi5GZX6iOa1aljfQwxnKsNT+5/uJKuxosmdhdBQxvX/uwXSOVdT+0RFcnSPtv',

  13.    'encSecKey': '46fddcef9ca665289ff5a8888aa2d3b0490e94ccffe48332eca2d2a775ee932624afea7e95f321d8565fd9101a8fbc5a9cadbe07daa61a27d18e4eb214ff83ad301255722b154f3c1dd1364570c60e3f003e15515de7c6ede0ca6ca255e8e39788c2f72877f64bc68d29fac51d33103c181cad6b0a297fe13cd55aa67333e3e5'

  14. }

  15. response = requests.post(url,headers=headers,data=user_data)

  16. data = json.loads(response.text)

  17. hotcomments = []

  18. for hotcommment in data['hotComments']:

  19.    item = {

  20.        'nickname':hotcommment['user']['nickname'],

  21.        'content':hotcommment['content'],

  22.        'likedCount':hotcommment['likedCount']    

  23.    }

  24.    hotcomments.append(item)

  25. #获取评论用户名,内容,以及对应的获赞数  

  26. content_list = [content['content'] for content in hotcomments]

  27. nickname = [content['nickname'] for content in hotcomments]

  28. liked_count = [content['likedCount'] for content in hotcomments]

二、数据可视化

在获得相关评论数据后,我们将其做成图表与词云图,将让人看起来更直观。

640?wx_fmt=jpeg

接下来需要在自己电脑上安装需要相关的安装包: pyecharts(图表包)、matplotlib(绘图功能包)、 WordCloud(词云包)

其中,pyecharts 是一个用于生成 Echarts 图表的类库。 Echarts 是百度开源的一个数据可视化 JS 库,主要用于数据可视化,同时pyecharts 兼容 Python2 和 Python3。安装非常简单,只需:

  1. pip install pyecharts

接下来就是代码的实现:

利用之前获得评论用户名和对应的点赞数,将其制作成图表图:

  1. from pyecharts import Bar

  2. bar = Bar("热评中点赞数示例图")

  3. bar.add( "点赞数",nickname, liked_count, is_stack=True,mark_line=["min", "max"],mark_point=["average"])

  4. bar.render()

640?wx_fmt=jpeg

由此可以看出,获得最高赞数(95056)评论是:

@鱼大叔Uncle:后来的我,离开了他,永远的离开了他,十年的感情不过寥寥几句话。后来的我,嫁给了一个很普通的人,没有他的浪漫,却有不一样的温暖。

大多数赞数为20000-30000之间,最低都达到7000+,(基本与网页里评论中数据吻合)。

最后,我们将所有的热门评论内容,制作成词云图展示出来,代码块如下:

  1. from wordcloud import WordCloud

  2. import matplotlib.pyplot as plt

  3. content_text = " ".join(content_list)

  4. wordcloud = WordCloud(font_path=r"C:\simhei.ttf",max_words=200).generate(content_text)

  5. plt.figure()

  6. plt.imshow(wordcloud,interpolation='bilinear')

  7. plt.axis('off')

  8. plt.show()

结果图:

640?wx_fmt=jpeg

从图中可以看出,很多人感慨,后来只有你我,再无我们。

注明:所有数据,是属于当时所爬取的数据。

三、后记

曾记得,郭敬明在书里写,“我们太年轻,以致于都不知道以后的时光,竟然那么长,

长得足够让我忘记你,足够让我重新喜欢一个人,就像当初喜欢你那样。”

我们这一生,总是遇到太多的后来。从不懂爱到懂爱,从拥有到珍惜。

所幸是到了最后,无论过了多少年。后来的我们,都在对方身上,学会了如何去爱。

640?wx_fmt=jpeg

就像陈奕迅在歌里唱的,“有过执着,放下执着”。有些人啊,光是遇见就已经值得了。

我们确实没有了后来。

就让后来的我们,慢慢走,别回头。

不谈亏欠,感谢遇见。

只是在下一次遇见爱的时候,我们都要学会更懂得珍惜。

这才是爱的意义,也是我们为什么去爱。

赞赏作者

640?wx_fmt=jpeg

作者:菜鸟分析,一个痴恋于Python语言的程序猿  

知乎专栏|恋习Python:https://zhuanlan.zhihu.com/p/35667053

最近热门文章

用Python分析苹果公司股价数据

Nginx+uwsgi部署Django应用

用文本挖掘剖析近5万首《全唐诗》

Python自然语言处理分析倚天屠龙记

Python 3.6实现单博主微博文本、图片及热评爬取

640?wx_fmt=jpeg

▼ 点击下方阅读原文免费成为社区会员

用python3爬取天猫商品评论并分析(0)

  由于日后实习需要,新年假期在家里有空写了个抓取天mao评论的程序,并用python的snownlp模块进行简单的情感分析,由于本人刚接触python,项目可能有许多不足,请大家谅解!具体流程如下:...
  • weixin_41716128
  • weixin_41716128
  • 2018年02月10日 21:07
  • 886

用python抓取百万网易云热门评论[转载]

前言 最近在研究文本挖掘相关的内容,所谓巧妇难为无米之炊,要想进行文本分析,首先得到有文本吧。获取文本的方式有很多,比如从网上下载现成的文本文档,或者通过第三方提供的API进行获取数据。但是有的...
  • wgxshr
  • wgxshr
  • 2017年05月28日 14:01
  • 897

使用python爬取京东评论(json)

任务:爬取京东某手机的评论这次爬取的内容是动态的所以不能直接爬源代码中的内容 打开网页按下F12在Network里找到productPageComments文件 打开这个文件 这个文件是由json保存...
  • u011444756
  • u011444756
  • 2017年10月25日 20:37
  • 1073

python爬取网易云音乐薛之谦歌词数据,生成词云

老薛最近频频上热搜,因为老薛的歌大部分是自己作词,所以感觉他的歌词和他应该有某种情感表达和联系吧。 于是用python爬了网易云音乐中老薛的歌词数据,并简单用wordcloud写了个词云统计。 难过...
  • sgfmby1994
  • sgfmby1994
  • 2017年09月14日 15:34
  • 879

python 爬取网易新闻评论

前段时间在看处理数据相关的书籍,需要爬取一些网上评论的文本数据集,所以想到爬取网易新闻底下的评论。本来想着Python+beautifulsoup(解析)+requests(抓取),最后存储在txt文...
  • kervin2012
  • kervin2012
  • 2017年07月18日 16:33
  • 1462

用python3爬取天猫商品评论并分析(1)

  在上一篇文章我们已经完成数据的采集,并将数据存储在mysql,现在我们来继续后面的数据分析工作,先放出项目流程:0. 主要流程0. 数据采集0. 目标网址获取1. 爬虫框架选用注:了解这一步请登录...
  • weixin_41716128
  • weixin_41716128
  • 2018年02月12日 00:10
  • 233

Python爬取网易新闻动态评论

1.前些天打开网易新闻,第一条就是习大大在中央军委改革工作会议上发表重要讲话的新闻,于是点开爬取该新闻的评论。也可以点这里打开! 2.以前爬取的网页都是静态的,都是源代码中直接就有,一眼就可以观察到的...
  • yedoubushishen
  • yedoubushishen
  • 2015年12月07日 19:44
  • 2879

python爬虫(7)——获取京东商品评论信息

本文借鉴了之前爬取天猫商品评论的思想,先通过分析网页信息来定位京东加载商品评论信息JS页面,然后从中提取出想要的商品评论信息并存入MySQL数据库。1.分析网页信息本文在进行各项操作时同样以小米6为例...
  • FlySky1991
  • FlySky1991
  • 2017年07月12日 19:34
  • 3970

[Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上)

前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息。 用户信息:包括用户ID、用户名、微博数、粉丝数、关注数等。微博信息:...
  • Eastmount
  • Eastmount
  • 2016年04月24日 07:29
  • 13557

通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据

import sys import re import json import requests import requests url='https://rate.taobao.com/fee...
  • xiaoahahaha
  • xiaoahahaha
  • 2017年04月05日 18:55
  • 1196
收藏助手
不良信息举报
您举报文章:用Python爬取陈奕迅新歌《我们》10万条评论的新发现
举报原因:
原因补充:

(最多只允许输入30个字)