关闭

Python3爬虫抓取网易云音乐热评实战

标签: python爬虫云音乐
2555人阅读 评论(12) 收藏 举报
分类:

前一段时间刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了。于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取网易云音乐热歌榜里的热评的爬虫。我也是刚刚入门爬虫,有什么意见和问题欢迎提出,大家一起共同进步。
废话就不多说了~


我们的目标是爬取网易云中的热歌排行榜中所有歌曲的热门评论。
这样既可以减少我们需要爬取的工作量,又可以保存到高质量的评论。

首先,我们打开网易云网页版,如图:
这里写图片描述

点击排行榜,然后点击左侧云音乐热歌榜,如图:

这里写图片描述

我们先随便打开一个歌曲,找到如何抓取指定的歌曲的热门歌评的方法,如图,我选了一个最近我比较喜欢的歌曲为例:

这里写图片描述

进去后我们会看到歌评就在这个页面的下面,接下来我们就要想办法获取这些评论。

接下来打开web控制台(chrom的话打开开发者工具,如果是其他浏览器应该也是类似),chrom下按F12,如图:

这里写图片描述

选则Network,然后我们按F5刷新一下,刷新之后得到的数据如下图所示:

这里写图片描述

可以看到浏览器发送了非常多的信息,那么哪一个才是我们想要的呢?这里我们可以通过状态码做一个初步的判断,status code(状态码)标志了服务器请求的状态,这里状态码为200即表示请求正常,而304则表示不正常(状态码种类非常多,如果要想详细了解可以自行搜索,这里不说304具体的含义了)。所以我们一般只用看状态码为200的请求就可以了,还有就是,我们可以通过右边栏的预览来粗略观察服务器返回了什么信息(或者查看响应)。通过这两种方法结合一般我们就可以快速找到我们想要分析的请求。通过反复的查找,终于找到了含有歌评的请求,如图:

这里写图片描述

可能截图在CSDN上不是很清楚,我们在一个Name为R_SO_4_489998494?csrf_token=的POST请求中找到了包含这首歌的歌评。我们把这个分块截图发出来,这样可以看的清楚一些:

请求基本信息:
这里写图片描述

请求头部:
这里写图片描述
请求中的表单数据:
这里写图片描述

我们可以看到,包含这首歌歌评的请求url为http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token= ,我们换了几首歌后发现,这个请求的前部分都是一样的,只是R_SO_4_后面紧跟的一串数字不一样。我们可以推测出,每一首歌都有一个指定的id,R_SO_4_后面紧跟的就是这首歌的id。

我们再看一下提交的表单数据,我们会发现表单中需要填两个数据,名称为params和encSecKey。后面紧跟的是一大串字符,换几首歌会发现,每首歌的params和encSecKey都是不一样的,因此,这两个数据可能经过一个特定的算法进行加密过的。

服务器返回的和评论相关的数据为json格式的,里面含有非常丰富的信息(比如有关评论者的信息,评论日期,点赞数,评论内容等等),其中hotComments就是我们要找的热门评论,总共15条,如图所示:

这里写图片描述

至此,我们已经确定了方向了,即只需要确定params和encSecKey这两个参数值即可。但是这两个参数是经过特定的算法进行加密的,怎么办呢?我发现了一个规律,http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token= 中 R_SO_4_后面的数字就是这首歌的id值,而对于不同的歌曲的param和encSecKey值,如果把一首歌比如A的这两个参数值传给B这首歌,那么对于相同的页数,这种参数是通用的,即A的第一页的两个参数值传给其他任何一首歌的两个参数,都可以获得相应歌曲的第一页的评论,对于第二页,第三页等也是类似。
而我们其实只需要获取第一页的15条热门评论,所以我们只需要随便找一首歌,将这首歌第一页中的该请求中的params和encSecKey这两个参数值复制下来,就可以使用了。
关于这两个参数如何解密,强大的知乎上其实已经有答案的了,感兴趣的朋友可以进去看一下(https://www.zhihu.com/question/36081767),我们在这里就只需要用我们这种偷懒的办法就可以完成需求了,xixi。

到此为止,我们如何抓取网易云音乐的热门评论已经分析完了,我们再分析一下如何获取云音乐热歌榜中所有歌曲的信息。

我们需要获取云音乐热歌榜中的所有歌曲的歌曲名和对应的id值。
跟上面的分析步骤类似,我们先进入热歌榜的网址,如图:

这里写图片描述

按F12,进入WEB工作台,如图:

这里写图片描述

我们在一个名为toplist?id=3778678的GET请求中,找到了该榜单的所有歌曲信息。

请求对应的信息如图:

这里写图片描述

我们预览一下该请求返回的结果,如图:

这里写图片描述

我们在代码的第524行我们找到了包含歌曲信息的代码,如图:

这里写图片描述

因此,我们只需要将该请求的代码中,将包含信息的代码筛选出来。
我们在这里使用正则表达式进行数据筛选。
通过观察特点,我们可以通过两次正则表达式的筛选,将我们需要的歌曲信息提取出来。
第一次正则表达式我们将该请求返回的所有代码中,提取出第525行代码。
第一次正则表达式如下:<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>

第二次正则表达式我们将该第524行中我们需要的歌曲信息提取出来,我们需要歌曲的歌名和id,对应的正则表达式如下:
获取歌名:<li><a href="/song\?id=\d*?">(.*?)</a></li>
获取歌曲的id:<li><a href="/song\?id=(\d*?)">.*?</a></li>

到此,我们整个过程已经分析完了,上代码看具体细节~~
代码如下:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import re
import urllib.request
import urllib.error
import urllib.parse
import json



def get_all_hotSong():     #获取热歌榜所有歌曲名称和id
    url='http://music.163.com/discover/toplist?id=3778678'    #网易云云音乐热歌榜url
    header={    #请求头部
        'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
    }
    request=urllib.request.Request(url=url, headers=header)
    html=urllib.request.urlopen(request).read().decode('utf8')   #打开url
    html=str(html)     #转换成str
    pat1=r'<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>'  #进行第一次筛选的正则表达式
    result=re.compile(pat1).findall(html)     #用正则表达式进行筛选
    result=result[0]     #获取tuple的第一个元素

    pat2=r'<li><a href="/song\?id=\d*?">(.*?)</a></li>' #进行歌名筛选的正则表达式
    pat3=r'<li><a href="/song\?id=(\d*?)">.*?</a></li>'  #进行歌ID筛选的正则表达式
    hot_song_name=re.compile(pat2).findall(result)    #获取所有热门歌曲名称
    hot_song_id=re.compile(pat3).findall(result)    #获取所有热门歌曲对应的Id

    return hot_song_name,hot_song_id

def get_hotComments(hot_song_name,hot_song_id):
    url='http://music.163.com/weapi/v1/resource/comments/R_SO_4_' + hot_song_id + '?csrf_token='   #歌评url
    header={    #请求头部
   'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
    #post请求表单数据
    data={'params':'zC7fzWBKxxsm6TZ3PiRjd056g9iGHtbtc8vjTpBXshKIboaPnUyAXKze+KNi9QiEz/IieyRnZfNztp7yvTFyBXOlVQP/JdYNZw2+GRQDg7grOR2ZjroqoOU2z0TNhy+qDHKSV8ZXOnxUF93w3DA51ADDQHB0IngL+v6N8KthdVZeZBe0d3EsUFS8ZJltNRUJ','encSecKey':'4801507e42c326dfc6b50539395a4fe417594f7cf122cf3d061d1447372ba3aa804541a8ae3b3811c081eb0f2b71827850af59af411a10a1795f7a16a5189d163bc9f67b3d1907f5e6fac652f7ef66e5a1f12d6949be851fcf4f39a0c2379580a040dc53b306d5c807bf313cc0e8f39bf7d35de691c497cda1d436b808549acc'}
    postdata=urllib.parse.urlencode(data).encode('utf8')  #进行编码
    request=urllib.request.Request(url,headers=header,data=postdata)
    reponse=urllib.request.urlopen(request).read().decode('utf8')
    json_dict=json.loads(reponse)   #获取json
    hot_commit=json_dict['hotComments']  #获取json中的热门评论


    num=0
    fhandle=open('./song_comments','a')  #写入文件
    fhandle.write(hot_song_name+':'+'\n')

    for item in hot_commit:
        num+=1
        fhandle.write(str(num)+'.'+item['content']+'\n')
    fhandle.write('\n==============================================\n\n')
    fhandle.close()




hot_song_name,hot_song_id=get_all_hotSong()  #获取热歌榜所有歌曲名称和id

num=0
while num < len(hot_song_name):    #保存所有热歌榜中的热评
    print('正在抓取第%d首歌曲热评...'%(num+1))
    get_hotComments(hot_song_name[num],hot_song_id[num])
    print('第%d首歌曲热评抓取成功'%(num+1))
    num+=1

代码运行结果如下:

这里写图片描述

对比一下网页上《如果我爱你》这首歌的歌评和我们保存下的歌评:

这里写图片描述

这里写图片描述

信息无误~

4
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

网易云音乐爬虫 && 数据可视化

Introduction看见有人写了一篇我用Python分析了42万字的歌词,为了搞清楚民谣歌手们在唱些什么,觉得挺好玩的,于是就想自己也实现一下。于是本作品就诞生了。源代码地址:GitHub: Cl...
  • And_w
  • And_w
  • 2017-05-14 21:37
  • 2349

python网易云音乐爬虫

  • 2016-05-10 12:56
  • 917B
  • 下载

网易云音乐爬虫--评论爬取以及Top Music统计

网易云云音乐评论十分有趣,于是就想写个爬虫爬取评论。但是不熟悉Python,就用java写了个。         主要使用了HttpClient,,Jsoup, 队列, 线程, log4j,poi生成...
  • u014788227
  • u014788227
  • 2016-10-26 17:17
  • 6547

Java 爬虫入门(网易云音乐和知乎实例)

最近公司赶项目,过上了996的生活,周日还要陪老婆,实在没时间静下来写点东西,于是导致了swift编写2048的第三篇迟迟没有开工,在此说声抱歉,尽量抽时间在这周末补出来。 首先来介绍下爬虫的作用,爬...
  • silk_bar
  • silk_bar
  • 2016-04-20 20:33
  • 6987

使用python-aiohttp爬取网易云音乐

通过上文《使用python-aiohttp搭建微信公众平台》,我们已经可以响应来自微信服务器的请求,接下来,我们为公众号增加一个在线点歌的功能。
  • u011475134
  • u011475134
  • 2017-04-15 11:24
  • 5416

Python爬一爬网易云音乐(几百万评论)

结果 对过程没有兴趣的童鞋直接看这里啦。 评论数大于五万的歌曲排行榜 首先恭喜一下我最喜欢的歌手(之一)周杰伦的《晴天》成为网易云音乐第一首评论数过百万的歌曲! 通过结果发现目前评论数过十...
  • python233
  • python233
  • 2017-05-31 23:12
  • 2586

Python3.7 爬虫(三)使用 Urllib2 与 BeautifulSoup4 爬取网易云音乐歌单

版权声明:本文为 wintersmilesb101 -(个人独立博客– http://wintersmilesb101.online 欢迎访问)博主原创文章,未经博主允许不得转载。 废话在前面的的博客...
  • qq_21265915
  • qq_21265915
  • 2017-04-09 20:04
  • 3352

python利用网易云音乐接口搭建的音乐推荐,根据单曲歌名推荐相关用户喜爱的歌曲

一、网易云音乐的相关接口 这边我想要的数据接口有: * 网易的搜索功能,根据歌名获取歌曲的id * 歌曲相关的评论用户接口 * 用户的相关数据包括歌单或听歌记录,这边听歌记录的接口好像不能用,所以我就...
  • SeaIsGod
  • SeaIsGod
  • 2017-07-29 17:34
  • 866

网易云音乐API获取分析

项目地址:https://github.com/MiChongGET/CloudMusicApi 喜欢的朋友star一下 一、网易云音乐歌曲评论数据获取分析 本来是想着用jsoup来爬取网易的评论...
  • qq_31673689
  • qq_31673689
  • 2017-11-23 16:00
  • 1904

用Python爬取用户虾米音乐的歌单

Python的爬虫非常简单,现在又有成熟的爬虫框架scrapy。现在,我们来用scrapy爬取自己虾米歌单上的歌曲。 通过这篇博客,你将学到: 基本的爬虫设计 模拟登陆 维持登陆状态 Xpath (...
  • hustqb
  • hustqb
  • 2017-08-05 12:33
  • 1398
    个人资料
    • 访问:127427次
    • 积分:2053
    • 等级:
    • 排名:千里之外
    • 原创:69篇
    • 转载:2篇
    • 译文:0篇
    • 评论:79条
    博客专栏
    最新评论