爬取QQ音乐中一首歌的相关信息及评论（破解反爬虫、多协程队列爬虫）

最新推荐文章于 2024-05-13 13:46:20 发布
最新推荐文章于 2024-05-13 13:46:20 发布
阅读量4k 收藏 44
点赞数 12
文章标签： 队列 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mxeron/article/details/114743226
版权

刚写完这个实验作业，顺便来记录一下一些易错的地方：

目录

项目框图：
在这里插入图片描述

一、页面预览

先从歌手页爬取到这首歌的相关信息，包括它歌曲、专辑的url。这里要说一下，刚开始在歌曲详情页、播放器页面找了很久都找不到爬取歌曲时长的地方，结果！当我打开歌手页的时候，发现：
在这里插入图片描述
这不明摆着的吗？？？

所以呀，在爬虫之前，一定要先对相关页面有足够的了解！

上面的内容直接用Beautiful Soup4 数据解析就能搜集到。

二、其他信息

歌词：进入详情页爬取
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通过抓包，发现是个ajax请求，点开注意一下url和请求方式、返回数据类型即可。

注意：这里有个问题困扰了很久！！
你会发现对歌词的url进行请求时：

new_url='https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric_yqq.fcg?nobase64=1&musicid=5408217&-=jsonp1&g_tk_new_20200303=1458790511&g_tk=1458790511&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'

如果你只添加了headers，它是不会返回正确的数据的（会告诉你请求失败），这是为什么呢？
我在网上搜索后发现，原来是存在反爬虫，需要再添加referer！

Referer是HTTP请求Header的一部分，当浏览器向Web服务器发送请求的时候，请求头信息一般需要包含Referer。该Referer会告诉服务器我是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理。

Referer作用是什么？

1）防盗链
比如办事通服务器只允许网站访问自己的静态资源，那服务器每次都需要判断Referer的值是否是zwfw.yn.gov.cn，如果是就继续访问，不是就拦截。

2）防止恶意请求
比如静态请求是.html结尾的，动态请求是.shtml，那么所有的*.shtml请求，必须 Referer为我自己的网站才可以访问，这就是Referer的作用。

（有些网站没有Referer直接写一个UA伪装就可以获取数据）

正确书写形式：

headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/89.0.4389.82 Safari/537.36',
            'Referer': 'https://y.qq.com/n/yqq/song/001NmPTG1fVsUw.html'
            }

Referer填写的就是你要访问（请求的）那个网页，或者是包含你想发送请求内容的那个页面。

举个例子：
我们想要获取歌词，歌词在：
在这里插入图片描述
这个页面的蓝色标识的url中，我们想对这个蓝标的url发送请求时，就必须加上Referer:https://y.qq.com/n/yqq/song/001NmPTG1fVsUw.html，加上后就可以正常请求数据了。

评论：
在这里插入图片描述
在这里插入图片描述
点击之后都是局部网页刷新，所以直接抓包找xhr即可。

注意：
刚开始进去的页面，如果你不点第二页或者加载更多，它只有一个这个：
在这里插入图片描述
可以看到里面包含了热门评论、普通评论，但很明显这并不方便我们爬取数据，所以再我点击之后发现，果然又多了几个xhr：

这个是最新评论：
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
这里同样需要注意一下请求方式和返回数据类型，更重要的是查看它需要的参数！！（用于遍历获取更多的评论），这里最重要的就是pagenum和pagesize（顾名思义）。

在这里插入图片描述
这个是热门评论，跟上面获取最新评论一样。

下面显示的是点赞数的获取：
在这里插入图片描述

三、一些小细节

1、字典的读取

total_Dict['评论Id'].append(i.get('commentid', 'NULL'))

在获取字典中的信息时，最好这么写，因为你不知道里面到底有没有数据。

2、用字典存储数据时，要先对键进行初始化，之后再用.append加入值（实现一键多值）。

total_Dict={'评论Id':[],'发布时间':[],'用户名':[],'评论内容':[]}

3、10位秒级，要把这个时间转换成我们方便看的时间：

# 要将10位秒时间转成正常形式
tupTime = time.localtime(int(i.get('time')))
temp_time = time.strftime('%Y-%m-%d %H:%M:%S', tupTime)

4、编码形式，最好用utf_8_sig，如果用gbk可能有些特殊符号无法解码，导致报错，用utf-8中文会乱码。
在这里插入图片描述

total_Dict.to_csv('最新评论.csv',encoding='utf_8_sig')

5、多协程队列爬虫：

主要部分：
monkey.patch_all()（帮助程序实现异步，要放在最前面）

work=Queue()

work.put_nowait()（将数据放入队列）

while not work.empty()（如果队列不为空继续循环）

work.get_nowait() （获取队列中信息）

# 创建空任务列表
task_list = []
# 这里代表使用多少个协程（开的越多速度越快，并且能够很好地支持高并发）
for k in range(3):
    # 用gevent.spawn()函数创建执行get_info()函数的任务
    task = gevent.spawn(get_info)
    # 往任务列表添加任务
    task_list.append(task)
# 用gevent.joinall方法，执行任务列表里的所有任务，就是让爬虫开始爬取网站
gevent.joinall(task_list)

6、html编码
在获取歌词时：
在这里插入图片描述
发现有一些类似&#的不明编码，处理方式：

1、正则表达式提取内容

2、html.unescape()

import HTMLParser

music_lyric=html.unescape(music_lyric)

四、源码

from gevent import monkey

monkey.patch_all()
# patch_all()能把程序变成协作式运行，帮助程序实现异步，需要放在最前面
# 利用协程和队列加快爬虫速度
# 上面两个语句必须放在最上面（不然会有Warning）
from gevent.queue import Queue
import gevent
import requests
from bs4 import BeautifulSoup
import html
import time
import pandas as pd
if __name__ == '__main__':
    def getMusicInfo():
        # 对url进行请求
        # 歌曲地址
        url = 'https://y.qq.com/n/yqq/singer/001Yxpxc0OaUUX.html#stat=y_new.song.header.singername'
        # UA伪装
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/89.0.4389.82 Safari/537.36'
        }
        response = requests.get(url=url, headers=headers).text
        # 歌曲名、所属专辑、播放时长、播放链接、歌词、评论（日期、内容、点赞数量）
        # 使用Beautiful Soup进行 数据解析
        # 先实例化
        soup = BeautifulSoup(response, 'lxml')
        # 先找到大致范围
        temp = soup.find('li', mid=5408217)
        # 再根据要求缩小范围
        song_name = temp.select('div .songlist__songname span a')[0]
        song_album = temp.select('div .songlist__album a')[0]
        # 获取到了音乐播放链接、歌曲名、所属专辑连接、专辑名
        music_url = 'https:' + song_name['href']
        music_name = song_name['title']
        music_length = temp.select('div .songlist__time')[0].text
        album_url = 'https:' + song_album['href']
        album_name = song_album['title']

        # 再对详情页进行请求
        new_url = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric_yqq.fcg?nobase64=1&musicid=5408217&-=jsonp1&g_tk_new_20200303=1458790511&g_tk=1458790511&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'
        # 这里要加上Referer（破解反爬）
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/89.0.4389.82 Safari/537.36',
            'Referer': 'https://y.qq.com/n/yqq/song/001NmPTG1fVsUw.html'
        }
        new_response = requests.get(url=new_url, headers=headers).json()
        music_lyric = new_response['lyric']

        # 将提取到的歌词内容进行html转义
        music_lyric = html.unescape(music_lyric)
        # 将歌词存入txt文件
        with open('music_lytic.txt', 'w', encoding='gbk') as fp:
            fp.write(music_lyric)
        musicDF = pd.DataFrame(columns=['歌曲名', '歌曲长度', '所属专辑名', '歌曲链接', '专辑链接'],
                               data=([[music_name, music_length, album_name, music_url, album_url]]))
        print(musicDF)
        # 转换成csv格式
        musicDF.to_csv('歌曲介绍.csv', encoding='gbk')


    # 提取评论（精彩和最新）
    # 精彩评论和最新评论区别在于参数不同！
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/89.0.4389.82 Safari/537.36'
    }


    def getAmazedComment():
        comment_url = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'
        # 创建队列对象
        work = Queue()
        for i in range(0, 20):
            amazedParams = {
                'g_tk_new_20200303': '1458790511',
                'g_tk': '1458790511',
                'loginUin': '0',
                'hostUin': '0',
                'format': 'json',
                'inCharset': 'utf8',
                'outCharset': 'GB2312',
                'notice': '0',
                'platform': 'yqq.json',
                'needNewCode': '0',
                'cid': '205360772',
                'reqtype': '2',
                'biztype': '1',
                'topid': '5408217',
                'cmd': '6',
                'needmusiccrit': '0',
                'pagenum': i,  # 这里代表第几页（作为我们的参数）
                'pagesize': '20',  # 这里代表每页显示多少内容
                'lasthotcommentid': 'song_5408217_2512400045_1484758075',
                'domain': 'qq.com',
                'ct': '24',
                'cv': '10101010'
            }
            # 放入work队列中
            work.put_nowait(amazedParams)

        total_Dict = {'评论Id': [], '发布时间': [], '用户名': [], '评论内容': [], '点赞数': []}

        def getInfo():
            # 这里一共提取了 20*20=400条评论
            while not work.empty():
                # 精彩评论提取和存储
                params = work.get_nowait()
                amazedComment_response = requests.get(url=comment_url, params=params, headers=headers).json()
                amazedComment_list = amazedComment_response['comment']['commentlist']
                for i in amazedComment_list:
                    # 这里最好使用dict.get()方法，避免某项数据为空时报错
                    total_Dict['评论Id'].append(i.get('commentid', 'NULL'))
                    total_Dict['点赞数'].append(i.get('praisenum', 'NULL'))
                    if i.get('time', 'NULL') != 'NULL':
                        # 要将10位秒时间转成正常形式
                        tupTime = time.localtime(int(i.get('time')))
                        temp_time = time.strftime('%Y-%m-%d %H:%M:%S', tupTime)
                        total_Dict['发布时间'].append(temp_time)
                    else:
                        total_Dict['发布时间'].append('NULL')
                    total_Dict['用户名'].append(i.get('nick', 'NULL'))
                    total_Dict['评论内容'].append(i.get('rootcommentcontent', 'NULL'))

        # 创建空任务列表
        task_list = []
        # 这里代表使用多少个协程（开的越多速度越快，并且能够很好地支持高并发）
        # 速度还会受很多因素限制
        for i in range(3):
            # 使用gevent.spawn来让普通函数成为gevent任务
            task = gevent.spawn(getInfo())
            task_list.append(task)
        # 执行任务列表中的所有任务（开始爬取网站）
        gevent.joinall(task_list)

        print('获取热门评论完成！')
        total_Dict = pd.DataFrame(total_Dict)
        print(total_Dict)
        # 转换成csv格式
        total_Dict.to_csv('热门评论.csv', encoding='gbk')


    # 获取最新评论
    def getNewcomment():
        comment_url = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'
        # 创建队列对象
        work = Queue()
        for i in range(0, 20):
            newParams = {
                'g_tk_new_20200303': '1458790511',
                'g_tk': '1458790511',
                'loginUin': '0',
                'hostUin': '0',
                'format': 'json',
                'inCharset': 'utf8',
                'outCharset': 'GB2312',
                'notice': '0',
                'platform': 'yqq.json',
                'needNewCode': '0',
                'cid': '205360772',
                'reqtype': '2',
                'biztype': '1',
                'topid': '5408217',
                'cmd': '8',
                'needmusiccrit': '0',
                'pagenum': i,
                'pagesize': '25',
                'lasthotcommentid': 'song_5408217_2631124132_1615512647',
                'domain': 'qq.com',
                'ct': '24',
                'cv': '10101010'
            }
            # 放入work队列中
            work.put_nowait(newParams)

        total_Dict = {'评论Id': [], '发布时间': [], '用户名': [], '评论内容': [], '点赞数': []}

        def getInfo():
            # 这里一共提取了 20*25=500条评论
            while not work.empty():
                # 精彩评论提取和存储
                params = work.get_nowait()
                amazedComment_response = requests.get(url=comment_url, params=params, headers=headers).json()
                amazedComment_list = amazedComment_response['comment']['commentlist']
                for i in amazedComment_list:
                    total_Dict['评论Id'].append(i.get('commentid', 'NULL'))
                    total_Dict['点赞数'].append(i.get('praisenum', 'NULL'))
                    if i.get('time', 'NULL') != 'NULL':
                        # 要将10位秒时间转成正常形式
                        tupTime = time.localtime(int(i.get('time')))
                        temp_time = time.strftime('%Y-%m-%d %H:%M:%S', tupTime)
                        total_Dict['发布时间'].append(temp_time)
                    else:
                        total_Dict['发布时间'].append('NULL')
                    total_Dict['用户名'].append(i.get('nick', 'NULL'))
                    total_Dict['评论内容'].append(i.get('rootcommentcontent', 'NULL'))

        # 创建空任务列表
        task_list = []
        # 这里代表使用多少个协程（开的越多速度越快，并且能够很好地支持高并发）
        # 速度还会受很多因素限制
        for i in range(3):
            # 使用gevent.spawn来让普通函数成为gevent任务
            task = gevent.spawn(getInfo())
            task_list.append(task)
        # 执行任务列表中的所有任务（开始爬取网站）
        gevent.joinall(task_list)

        print('获取最新评论完成！')
        total_Dict = pd.DataFrame(total_Dict)
        print(total_Dict)
        # 转换成csv格式
        # 这里不能用gbk编码，会报错，用utf_8_sig是比较保守的！（utf-8会中文乱码）
        total_Dict.to_csv('最新评论.csv', encoding='utf_8_sig')


    # 测试
    getMusicInfo()
    getAmazedComment()
    getNewcomment()
@u@
关注
  • 12
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Python爬虫下载QQ音乐网站歌曲
如果时间不记得的博客
06-01 9986
Python爬虫下载QQ音乐网站歌曲1.分析QQ音乐网站数据请求url在QQ音乐搜索歌曲页面，通过浏览器调试工具，监测到向服务器发出的请求，获取到的json数据中list正好保存了对应于单页搜索结果的数据。查看请求header，得到urlhttps://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=
python爬取QQ音乐评论信息
陈增林
04-21 4237
QQ音乐评论爬取分析1.随便选个音乐2. g_tk函数介绍 1.随便选个音乐 https://y.qq.com/n/yqq/song/0039MnYb0qxYhV.html 找到评论的数据接口： https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_20200303=1728726093&g_tk=1728726093&loginUin=0&hostUin=0&format=json&
最全Python爬虫QQ音乐数据采取，公开数据获取案例之一(1)，面试总结报告
最新发布
2401_84138785的博客
05-13 1026
因为我们获取的数据只需要数据包含purl的req_1,只需要对应data的req_1的参数，songmid为歌曲的mid。得到对应的req_1的数据，取出purl值拼接成歌曲播放地址。提取json数据里的歌曲名字，歌曲的mid，歌手名字。get请求的url地址拼接上post对应的表单参数。开发环境：win10、python3.7。开发工具：pycharm、Chrome。动态提交的数据来自与同一个js文件。找到单个音乐的请求数据接口。搜索你需要的歌名或者歌曲。音乐的播放地址为purl。
Python爬虫视频教程：教你爬取QQ音乐数据（实战处理+数据可视化）
08-31
本视频课程主要培训Python爬虫入门，数据分析及数据可视化实战内容，通过本课的学习，您可以在2小时左右掌握Python基础编程的核心内容，实现Python在爬虫、数据分析，及数据可视化等操作，各位同学在掌握了Python后，可以选择Python的其中一个方向进行深入研究，不管对于自身升职找工作，还是对于自身IT专业能力的提升，都是非常有帮助的。刘宇宙，《Python3.5从零开始学》、《Python3.7从零开始学》一书作者。 目前主要担任大数据人工智能后台技术负责，负责人工智能项目落地，目前已落地计算机视觉中的以图搜图、侵权图片检测、智能广告、实时推荐、销量预测等项目。 先后从事过卡系统研发，云计算中IAAS的研发，大数据研发，物联网研发，网络爬虫研发。
Python爬虫实战(一) QQ音乐评论爬取及可视化分析
shine4869的博客
01-16 1万+
说好不哭呢？python爬取5000条QQ音乐评论并进行数据分析 爬虫也快学了一个月了，今天就来分享一下QQ音乐的实战例子吧。以周董的《说好不哭》为例： 首先打开QQ音乐，搜索说好不哭。找到评论区后，使用谷歌浏览器的检查功能，发现评论区的内容是被封装在json中的，如下图所示： 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如...
QQ音乐评论爬取
weixin_44725396的博客
05-01 2022
文章是从公众号直接复制来的，排版有点不耐看，不要介意哈 接口分析 浏览器打开QQ音乐官网，输入爬取评论歌曲，定位到评论页面。 歌曲页面 评论内容猜测应该是异步请求然后再渲染，但是还不是很确定...
QQ音乐评论爬虫程序【原创】
陈增林
12-14 922
topid’:‘102636799’, //歌曲ID。先找到一首歌，把请求参数替换到下面程序中。爬取的数量不对，有些删除的评论也在。只提供思路，仅用于学习。#此处修改请求的页数。
本爬虫程序旨在从中国大学MOOC爬取相关课程的评论信息.zip
03-01
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
使用爬虫爬取Civitai中的模型或者图片信息.zip
01-19
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
大众点评爬虫，爬取评论数据、评论者信息.zip
01-19
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
使用Java的WebCollector爬虫框架采集网易云音乐5亿首歌.zip
03-06
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
该项目是一个基于Scrapy框架的豆瓣音乐爬虫，用于爬取豆瓣音乐TOP250的音乐信息以及这些音乐的评论信息。.zip
01-19
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
python selenium 爬取QQ音乐评论 情感分析（获取训练集）
qq_43357429的博客
07-09 318
【代码】python selenium 爬取QQ音乐评论 情感分析（获取训练集）
QQ音乐无损歌曲分析教程
huangweijian95的博客
12-06 8391
QQ音乐无损歌曲分析教程 QQ音乐的歌曲要想下载很简单,最主要的就是通过获取到vkey和歌曲的mid进行地址拼接，进行下载。 获取方法一（直接计算） 首先来看一段无损音乐的地址 http://dl.stream.qqmusic.qq.com/F000003aAYrm3GE0Ac.flac?vkey=9EE4B929121DD578EE78612BC15DE2A6276D5792625C822D77...
爬虫入门经典(二十三) | fiddler抓包爬取QQ音乐
热门推荐
不温卜火
11-26 5万+
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
QQ音乐JS逆向爬虫，获取调皮的sign参数，我用python全都爬！
Blog沙漏在下雨
09-26 1万+
爬虫高级必然JS逆向，QQ音乐爬虫就是一个很好的练手，读完学会了直接在你女朋友面前装一手，读完你将收获到，QQ音乐JS逆向，sign参数获取，songmid参数获取，vkey参数获取，selenium自动化解析，用python解析执行js代码。
【Python爬虫实战】使用Selenium爬某音乐歌曲及评论信息啦~
xy258009的博客
07-17 1307
Selenium是一个用于测试网站的自动化测试工具，支持各种主流界面浏览器。简而言之，Selenium是一个用来做网站自动化测试的库，它的定位是做自动化测试的。我们也可以利用它来做爬虫，获取一些网页信息，并且这种爬虫是模拟真实浏览器操作的，实用性更强。Selenium是市面上唯一一款可以与付费产品竞争的自动化测试工具。如果想了解更多，可以前往Selenium中文网学习。.........
(必收藏) Python私藏项目实操分享，爬取QQ音乐评论，带你解析别人的内心世界
ccc6553584的博客
03-28 594
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
python爬取qq音乐评论
04-26
好的，我可以帮您解答。如果您想使用 Python 爬取 QQ 音乐评论，可以按照以下步骤进行： 1. 找到需要爬取评论的歌曲页面，例如：https://y.qq.com/n/yqq/song/0039MnYb0qxYhV.html 2. 打开 Chrome 浏览器，按下 F12 进入开发者工具，切换到 Network 标签页，刷新页面，找到包含评论信息的请求，例如：https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?biztype=1&topid=102065756&cmd=8&pagenum=0&pagesize=25&callback=jsonp1 3. 复制该请求的 URL，并使用 Python 的 requests 库发送 GET 请求，例如： ``` import requests url = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?biztype=1&topid=102065756&cmd=8&pagenum=0&pagesize=25&callback=jsonp1' response = requests.get(url) ``` 4. 获取请求返回的 JSON 数据，并解析出评论内容，例如： ``` import json data = json.loads(response.text.lstrip('jsonp1(').rstrip(')')) comments = data['comment']['commentlist'] for comment in comments: print(comment['rootcommentcontent']) ``` 以上就是使用 Python 爬取 QQ 音乐评论的基本步骤，需要注意的是，爬取评论需要对网站的反爬机制有一定的了解，并且需要尊重网站的服务条款和版权声明。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@u@

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值