爬取网易云音乐下面的热门评论

最新推荐文章于 2021-12-11 21:56:47 发布
最新推荐文章于 2021-12-11 21:56:47 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： python爬虫 文章标签： 网易 云音乐 python爬虫 python

  一、运行环境

   (1) win10

   (2) python 2.7

   (3) pycharm

   (4) 安装依赖   pip install  PyCrypto 等

 二、运行源程序

(1)原始版

# -*- coding: utf-8 -*-
# <a href="http://www.jobbole.com/members/dai745726163">@Time</a>
'''
@Description:
网易云音乐评论爬虫，可以完整爬取整个评论
部分参考了@平胸小仙女的文章(地址:https://www.zhihu.com/question/36081767)
post加密部分也给出了，可以参考原帖：
作者：平胸小仙女
链接：https://www.zhihu.com/question/36081767/answer/140287795
来源：知乎
'''
from Crypto.Cipher import AES
import base64
import requests
import json
import codecs
import time

# 头部信息
headers = {
    'Host': "music.163.com",
    'Accept-Language': "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    'Accept-Encoding': "gzip, deflate",
    'Content-Type': "application/x-www-form-urlencoded",
    'Cookie': "_ntes_nnid=754361b04b121e078dee797cdb30e0fd,1486026808627; _ntes_nuid=754361b04b121e078dee797cdb30e0fd; JSESSIONID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A1490677541180; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.51373751e63af8; vjlast=1486102528.1490172479.21; __gads=ID=a9eed5e3cae4d252:T=1486102537:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.1486349441669.1486349607905.1490173828142; P_INFO=m15527594439@163.com|1489375076|1|study|00&99|null&null&null#hub&420100#10#0#0|155439&1|study_client|15527594439@163.com; NTES_CMT_USER_INFO=84794134%7Cm155****4439%7Chttps%3A%2F%2Fsimg.ws.126.net%2Fe%2Fimg5.cache.netease.com%2Ftie%2Fimages%2Fyun%2Fphoto_default_62.png.39x39.100.jpg%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; Province=027; City=027; _ga=GA1.2.1549851014.1489469781; __utma=94650624.1549851014.1489469781.1490664577.1490672820.8; __utmc=94650624; __utmz=94650624.1490661822.6.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; playerid=81568911; __utmb=94650624.23.10.1490672820",
    'Connection': "keep-alive",
    'Referer': 'http://music.163.com/'
}
# 设置代理服务器
proxies = {
    'http:': 'http://121.232.146.184',
    'https:': 'https://144.255.48.197'
}

# offset的取值为:(评论页数-1)*20,total第一页为true，其余页为false
# first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}' # 第一个参数
second_param = "010001"  # 第二个参数
# 第三个参数
third_param = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
# 第四个参数
forth_param = "0CoJUm6Qyw8W8jud"


# 获取参数
def get_params(page):  # page为传入页数
    iv = "0102030405060708"
    first_key = forth_param
    second_key = 16 * 'F'
    if (page == 1):  # 如果为第一页
        first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}'
        h_encText = AES_encrypt(first_param, first_key, iv)
    else:
        offset = str((page - 1) * 20)
        first_param = '{rid:"", offset:"%s", total:"%s", limit:"20", csrf_token:""}' % (offset, 'false')
        h_encText = AES_encrypt(first_param, first_key, iv)
    h_encText = AES_encrypt(h_encText, second_key, iv)
    return h_encText


# 获取 encSecKey
def get_encSecKey():
    encSecKey = "257348aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2e3881736d94a02ca919d952872e7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3f624750ed39e7de08fc8493242e26dbc4484a01c76f739e135637c"
    return encSecKey


# 解密过程
def AES_encrypt(text, key, iv):
    pad = 16 - len(text) % 16
    text = text + pad * chr(pad)
    encryptor = AES.new(key, AES.MODE_CBC, iv)
    encrypt_text = encryptor.encrypt(text)
    encrypt_text = base64.b64encode(encrypt_text)
    return encrypt_text


# 获得评论json数据
def get_json(url, params, encSecKey):
    data = {
        "params": params,
        "encSecKey": encSecKey
    }
    response = requests.post(url, headers=headers, data=data, proxies=proxies)
    return response.content


# 抓取热门评论，返回热评列表
def get_hot_comments(url):
    hot_comments_list = []
    hot_comments_list.append(u"用户ID 用户昵称 用户头像地址 评论时间 点赞总数 评论内容\n")
    params = get_params(1)  # 第一页
    encSecKey = get_encSecKey()
    json_text = get_json(url, params, encSecKey)
    json_dict = json.loads(json_text)
    hot_comments = json_dict['hotComments']  # 热门评论
    print("共有%d条热门评论!" % len(hot_comments))
    for item in hot_comments:
        comment = item['content']  # 评论内容
        likedCount = item['likedCount']  # 点赞总数
        comment_time = item['time']  # 评论时间(时间戳)
        userID = item['user']['userID']  # 评论者id
        nickname = item['user']['nickname']  # 昵称
        avatarUrl = item['user']['avatarUrl']  # 头像地址
        comment_info = userID + " " + nickname + " " + avatarUrl + " " + comment_time + " " + likedCount + " " + comment + u"\n"
        hot_comments_list.append(comment_info)
    return hot_comments_list


# 抓取某一首歌的全部评论
def get_all_comments(url):
    all_comments_list = []  # 存放所有评论
    all_comments_list.append(u"用户ID 用户昵称 用户头像地址 评论时间 点赞总数 评论内容\n")  # 头部信息
    params = get_params(1)
    encSecKey = get_encSecKey()
    json_text = get_json(url, params, encSecKey)
    json_dict = json.loads(json_text)
    comments_num = int(json_dict['total'])
    if (comments_num % 20 == 0):
        page = comments_num / 20
    else:
        page = int(comments_num / 20) + 1
    print("共有%d页评论!" % page)
    for i in range(page-87000):  # 逐页抓取
        params = get_params(i + 1)
        encSecKey = get_encSecKey()
        json_text = get_json(url, params, encSecKey)
        json_dict = json.loads(json_text)
        if i == 0:
            print("共有%d条评论!" % comments_num)  # 全部评论总数
        for item in json_dict['comments']:
            comment = item['content']  # 评论内容
            likedCount = item['likedCount']  # 点赞总数
            comment_time = item['time']  # 评论时间(时间戳)
            userID = item['user']['userId']  # 评论者id
            nickname = item['user']['nickname']  # 昵称
            avatarUrl = item['user']['avatarUrl']  # 头像地址
            comment_info = unicode(userID) + u" " + nickname + u" " + avatarUrl + u" " + unicode(
                comment_time) + u" " + unicode(likedCount) + u" " + comment + u"\n"
            all_comments_list.append(comment_info)
        print("第%d页抓取完毕!" % (i + 1))
    return all_comments_list


# 将评论写入文本文件
def save_to_file(list, filename):
    with codecs.open(filename, 'a', encoding='utf-8') as f:
        f.writelines(list)
    print("写入文件成功!")


if __name__ == "__main__":
    start_time = time.time()  # 开始时间
    url = "http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016/?csrf_token="
    filename = u"晴天.txt"
    all_comments_list = get_all_comments(url)
    save_to_file(all_comments_list, filename)
    end_time = time.time()  # 结束时间
    print("程序耗时%f秒." % (end_time - start_time))

(2)改进版

# -*- coding: utf-8 -*-
'''
@Description:
网易云音乐评论爬虫，可以完整爬取整个评论
'''
from Crypto.Cipher import AES
import base64
import requests
import json
import codecs
import time

# 头部信息
headers = {
    'Host': "music.163.com",
    'Accept-Language': "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    'Accept-Encoding': "gzip, deflate",
    'Content-Type': "application/x-www-form-urlencoded",
    'Cookie': "_ntes_nnid=754361b04b121e078dee797cdb30e0fd,1486026808627; _ntes_nuid=754361b04b121e078dee797cdb30e0fd; JSESSIONID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A1490677541180; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.51373751e63af8; vjlast=1486102528.1490172479.21; __gads=ID=a9eed5e3cae4d252:T=1486102537:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.1486349441669.1486349607905.1490173828142; P_INFO=m15527594439@163.com|1489375076|1|study|00&99|null&null&null#hub&420100#10#0#0|155439&1|study_client|15527594439@163.com; NTES_CMT_USER_INFO=84794134%7Cm155****4439%7Chttps%3A%2F%2Fsimg.ws.126.net%2Fe%2Fimg5.cache.netease.com%2Ftie%2Fimages%2Fyun%2Fphoto_default_62.png.39x39.100.jpg%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; Province=027; City=027; _ga=GA1.2.1549851014.1489469781; __utma=94650624.1549851014.1489469781.1490664577.1490672820.8; __utmc=94650624; __utmz=94650624.1490661822.6.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; playerid=81568911; __utmb=94650624.23.10.1490672820",
    'Connection': "keep-alive",
    'Referer': 'http://music.163.com/'
}
# 设置代理服务器
proxies = {
    'http:': 'http://121.232.146.184',
    'https:': 'https://144.255.48.197'
}

# offset的取值为:(评论页数-1)*20,total第一页为true，其余页为false
# first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}' # 第一个参数
second_param = "010001"  # 第二个参数
# 第三个参数
third_param = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
# 第四个参数
forth_param = "0CoJUm6Qyw8W8jud"


# 获取参数
def get_params(page):  # page为传入页数
    iv = "0102030405060708"
    first_key = forth_param
    second_key = 16 * 'F'
    if (page == 1):  # 如果为第一页
        first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}'
        h_encText = AES_encrypt(first_param, first_key, iv)
    else:
        offset = str((page - 1) * 20)
        first_param = '{rid:"", offset:"%s", total:"%s", limit:"20", csrf_token:""}' % (offset, 'false')
        h_encText = AES_encrypt(first_param, first_key, iv)
    h_encText = AES_encrypt(h_encText, second_key, iv)
    return h_encText


# 获取 encSecKey
def get_encSecKey():
    encSecKey = "257348aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2e3881736d94a02ca919d952872e7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3f624750ed39e7de08fc8493242e26dbc4484a01c76f739e135637c"
    return encSecKey


# 解密过程
def AES_encrypt(text, key, iv):
    pad = 16 - len(text) % 16
    text = text + pad * chr(pad)
    encryptor = AES.new(key, AES.MODE_CBC, iv)
    encrypt_text = encryptor.encrypt(text)
    encrypt_text = base64.b64encode(encrypt_text)
    return encrypt_text


# 获得评论json数据
def get_json(url, params, encSecKey):
    data = {
        "params": params,
        "encSecKey": encSecKey
    }
    response = requests.post(url, headers=headers, data=data, proxies=proxies)
    return response.content


# 抓取热门评论，返回热评列表
def get_hot_comments(url):
    hot_comments_list = []
    hot_comments_list.append(u"用户ID 用户昵称 用户头像地址 评论时间 点赞总数 评论内容\n")
    params = get_params(1)  # 第一页
    encSecKey = get_encSecKey()
    json_text = get_json(url, params, encSecKey)
    json_dict = json.loads(json_text)
    hot_comments = json_dict['hotComments']  # 热门评论
    print("共有%d条热门评论!" % len(hot_comments))
    for item in hot_comments:
        comment = item['content']  # 评论内容
        likedCount = item['likedCount']  # 点赞总数
        comment_time = item['time']  # 评论时间(时间戳)
        userID = item['user']['userID']  # 评论者id
        nickname = item['user']['nickname']  # 昵称
        avatarUrl = item['user']['avatarUrl']  # 头像地址
        comment_info = userID + " " + nickname + " " + avatarUrl + " " + comment_time + " " + likedCount + " " + comment + u"\n"
        hot_comments_list.append(comment_info)
    return hot_comments_list


# 抓取某一首歌的全部评论
def get_all_comments(url):
    all_comments_list = []  # 存放所有评论
    all_comments_list.append(u"用户ID 用户昵称 用户头像地址 评论时间 点赞总数 评论内容\n")  # 头部信息
    params = get_params(1)
    encSecKey = get_encSecKey()
    json_text = get_json(url, params, encSecKey)
    json_dict = json.loads(json_text)
    comments_num = int(json_dict['total'])
    if (comments_num % 20 == 0):
        page = comments_num / 20
    else:
        page = int(comments_num / 20) + 1
    print("共有%d页评论!" % page)
    for i in range(page):  # 逐页抓取,但是由于页数太多了导致连接中断，所以取了部分页数的评论作为参考
        params = get_params(i + 1)
        encSecKey = get_encSecKey()
        json_text = get_json(url, params, encSecKey)
        json_dict = json.loads(json_text)
        if i == 0:
            print("共有%d条评论!" % comments_num)  # 全部评论总数
        for item in json_dict['comments']:
            comment = item['content']  # 评论内容
            likedCount = item['likedCount']  # 点赞总数
            comment_time = item['time']  # 评论时间(时间戳)
            userID = item['user']['userId']  # 评论者id
            nickname = item['user']['nickname']  # 昵称
            avatarUrl = item['user']['avatarUrl']  # 头像地址
            comment_info = unicode(userID) + u" " + nickname + u" " + avatarUrl + u" " + unicode(
                comment_time) + u" " + unicode(likedCount) + u" " + comment + u"\n"
            all_comments_list.append(comment_info)
        print("第%d页抓取完毕!" % (i + 1))
    return all_comments_list


# 将评论写入文本文件
def save_to_file(list, filename):
    with codecs.open(filename, 'a', encoding='utf-8') as f:
        f.writelines(list)
    print("写入文件成功!")


if __name__ == "__main__":
 while True:
    start_time = time.time()  # 开始时间
    #song_id=418603077           #每个歌曲都有一个id
    song_id = input('please input song_id:')
    url = "http://music.163.com/weapi/v1/resource/comments/R_SO_4_%s/?csrf_token="%(song_id,)
    filename = u"%s.txt"%(song_id)
    all_comments_list = get_all_comments(url)
    save_to_file(all_comments_list, filename)
    end_time = time.time()  # 结束时间
    print("程序耗时%f秒." % (end_time - start_time))

三、运行结果



三名狂客
关注
专栏目录
python爬虫爬取网易云音乐的热门评论
dxcve的博客
08-13 1550
import requests import json from bs4 import BeautifulSoup def get_comments(res): comments = json.loads(res.text) hot_comments = comments['hotComments'] with open('热门评论.txt','w',encoding=...
python爬取网易云音乐付费音乐_python爬虫学习教程，爬取网易云音乐！
weixin_39638526的博客
12-09 5009
运行环境我的运行环境如下：系统版本Windows10。Python版本Python3.5，推荐使用Anaconda 这个科学计算版本，主要是因为它自带一个包管理工具，可以解决有些包安装错误的问题。去Anaconda官网，选择Python3.5版本，然后下载安装。IDE我使用的是PyCharm，是专门为Python开发的IDE。这是JetBrians的产品实战上面提到过，网易云音乐的网页跟普通的网页...
PHP爬虫爬取网易云音乐热门评论
ljh243581579的博客
04-04 1897
说起爬虫，恐怕第一个想到的都是Python，PHP的就少之又少。 得空闲下来，自己用PHP做了一个爬虫，爬取网易云音乐的热门评论。 首先，在网易云官网，审查元素 ...
爬取网易云音乐精彩评论
weixin_33913332的博客
08-15 358
本文原创发布于微信公众号「极客猴」，欢迎关注第一时间获取更多原创分享 (一) 故事的小黄花 从出生那年就飘着 童年的荡秋千 随记忆一直晃到现在 Re So So Si Do Si La So La Si Si Si Si La Si La So 吹着前奏望着天空 我想起花瓣试着掉落 …… 小编猴哥有个爱好，喜欢一边听着熟悉的旋律，一边看着网易云音乐歌曲中的评论，特别是精彩评论。 评论内容，让人...
python爬取网易云音乐热歌榜实例代码
09-16
### Python爬取网易云音乐热歌榜实例代码详解 #### 一、背景介绍与目标 在数字音乐领域，网易云音乐作为一个重要的平台，为用户提供大量的音乐资源和个性化服务。对于开发者来说，通过爬虫技术抓取网易云音乐的热...
Python3实战之爬虫抓取网易云音乐的热门评论
12-26
我们的目标是爬取网易云中的热歌排行榜中所有歌曲的热门评论。 这样既可以减少我们需要爬取的工作量，又可以保存到高质量的评论。 实现分析 首先，我们打开网易云网页版，如图： 点击排行榜，然后点击左侧云...
python 开发源码- 爬取网易云音乐评论.zip
最新发布
02-06
在本项目中，我们主要探讨的是使用Python编程语言来开发一个源码，目的是爬取网易云音乐上的歌曲评论。这个任务涉及到多个IT领域的知识点，包括网络爬虫技术、Python编程基础、网页解析以及数据存储。下面我们将逐一...
python爬音乐评论生成词云图_python爬虫+词云图，爬取网易云音乐评论
weixin_33344952的博客
02-21 681
又到了清明时节，用python爬取了网易云音乐《清明雨上》的评论，统计词频和绘制词云图，记录过程中遇到一些问题爬取网易云音乐的评论一开始是按照常规思路，分析网页ajax的传参情况。看到参数都是加密过的，在网上参考别人之前爬虫的思路。发现陆续有人用模拟传参，自己加密参数来实现，主要用python和js版本的。我尝试了几次，加密过程有问题没解决。后来突然看到有人提到了一个get请求获取评论的url，实...
爬取网易云音乐评论
08-27
爬取网易云音乐评论
网易云音乐 最美的评论
adminyan的博客
11-09 7986
1、我喜欢我望向别处时你落在我身上的目光 2、你那么孤独，却说一个人真好 3、当你觉得孤独无助时，想一想还有十几亿的细胞只为了你一个人而活 4、一个人久了，煮个饺子看见两个粘在一起的也要给它分开！ 5、我从未拥有过你一秒钟，心里却失去过你千万次。 6、校服是我和她唯一穿过的情侣装，毕业照是我和她唯一的合影。 7、人生的出场顺序太重要了 8、理想就是离乡。 9、世界如此广阔，人类却走...
python爬虫----网易云音乐之热门评论
老问题的博客
08-01 5178
上次爬取了歌手的热门歌曲，这次就来爬取热门歌曲的热门评论 热门评论可没歌曲那么容易搞到手，还好有前辈们写过类似的爬虫，所以有许多资料参考。 lyrichu这位作者也写了一篇关于网易云热门评论的爬虫，写的很详细，可以去看看 http://www.cnblogs.com/lyrichu/p/6635798.html 关于爬取热门评论的主要难点就是，在歌曲
Python爬虫实战：网易云音乐爬取！
爬遍所有网站
11-12 5576
本次目标 爬取网易云音乐 https://music.163.com/ PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 环境 python 3.6 pycharm 爬虫代码 导入工具 import requestsimport re 请求网站、解析网站数据 def get_music_url(music_id, music_title): url = 'https://api.zhuol..
【爬虫Practice5】爬取网易云音乐评论
lily_i的博客
12-11 665
  这里以爬取网易云某一首歌的评论为例，当然爬取歌词等方法也是一模一样的，只是请求的参数不一样，这里比较难的地方就是解密和加密的过程，需要弄清楚。 评论加载、歌词等都是通过Ajax请求来的，但下面的参数被加密了 import requests import json from fake_useragent import UserAgent from Crypto.Cipher import AES from base64 import b64encode if __name__ == "__main__
php 爬取一个人的网易云评论,爬取网易云音乐某一个人的评论
weixin_39915721的博客
03-27 137
需求来源上周六的时候和一朋友聊天，聊到网易云系列产品，不知不觉就说到了网易云音乐，我说了些产品细节的问题，比如说，为什么在我不开通会员的情况下，网易云音乐不允许我红心一个会员歌曲，没有购买 没有听歌的权利这是正常，但连点击喜欢的权利都没有却让我很是郁闷，在后面，我为此功能特意下载虾米音乐，发现虾米却是可以红心收费歌曲的，他一脸吃瓜相的看着我说，这种细节功能你都计较啊，然后说出了他自己对网易云音乐的...
爬虫练习：爬取网易云音乐热歌榜全部歌曲的热门评论
qq_41230365的博客
08-28 2686
目标：爬取网易云音乐热歌榜中全部歌曲(共200首)的热门评论（每首歌有15个热门评论） 分析： 需要分两步走，第一步是定位到热歌榜单所在的资源，从而得到这热歌榜中到底有哪些歌并获得每首歌的id；第二步是根据上一步得到的每首歌的id，定位到单独每首歌所在的资源，从而得到每首歌下的评论信息。具体讲： 1）首先我们需要得到热歌榜数据所在的url，经浏览器开发者工具查看网页代码，得知热歌榜的数据所在...
爬取网易云音乐
Migrant workers
01-14 306
代码如下 import requests from lxml import etree import os url = 'https://music.163.com/discover/toplist?id=3779629' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Co
python八爬取网易云音乐歌曲评论
11-01
爬取网易云音乐歌曲评论可以使用Python中的requests和BeautifulSoup库。具体步骤如下： 1. 打开网易云音乐网站，找到需要爬取评论的歌曲页面，复制该页面的URL。 2. 使用requests库发送GET请求，获取该页面的HTML源代码。 3. 使用BeautifulSoup库解析HTML源代码，找到评论所在的标签。 4. 使用正则表达式或其他方法提取评论内容。 5. 将提取的评论保存到本地文件或数据库中。 下面是一个简单的Python代码示例，可以爬取指定歌曲的前100条评论： ```python import requests from bs4 import BeautifulSoup # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 歌曲ID song_id = 'xxx' # 获取评论的API接口 url = 'https://music.163.com/weapi/v1/resource/comments/R_SO_4_{}?csrf_token='.format(song_id) # 请求参数 params = { 'params': 'xxx', 'encSecKey': 'xxx' } # 发送POST请求，获取评论数据 response = requests.post(url, headers=headers, data=params) data = response.json() # 解析评论数据 comments = [] for comment in data['comments']: comments.append(comment['content']) # 输出前100条评论 for i in range(100): print(comments[i]) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值