Python3运用requests包爬取QQ音乐指定歌手歌曲

最新推荐文章于 2023-06-26 22:13:11 发布
最新推荐文章于 2023-06-26 22:13:11 发布
阅读量3.2k 收藏 35
点赞数 14
分类专栏： Python # 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41718454/article/details/100807802
版权

Python3应用requests包开发定向爬虫


最近学院给我们开设了Python+爬虫课程，请来了外面的公司的老师来给我们进行了为期10天的爬虫课程，实训的日子最近结束，我也有时间把我们平常写的拿来回顾一下写写博客。这个聚焦爬虫可以用来爬取QQ音乐web端指定歌手的音乐（客户端需要vip才能听的也可以爬），大家喜欢的可以多点赞（手动狗头）。接下来上代码和讲解：
这个爬虫采用了面向对象的思想，运用requests包和json包，从QQ音乐web端爬取指定歌手的音乐并以.m4a形式下载到本地。QQ音乐web端采用异步请求获取音乐文件，所以不能直接从看到的那个页面的链接爬取。

打开开发者工具，在network里刷新，找到真正的传来音乐文件响应（有时候很难找…），复制他的链接（在这里是一个client_search的链接），包括参数（很重要，有时候没这些参数是请求不到数据的）。 

class QQMusic:
    def __init__(self, singer):
        self.singer = singer
        self.tmp_singer_url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=58393477745290472&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=10&w=' + self.singer + '&g_tk=5381&loginUin=249099&hostUin=0&platform=yqq.json&needNewCode=0'

        self.guid = "3481851020"
        self.headers = {
            "Referer": "https://y.qq.com/portal/player.html",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
        }

类的初始化函数，用来定义请求头和一些必要的参数和请求头信息，没有这些很可能取不到，或者被识别为爬虫。

# 获取歌手名
    def get_singer_url(self):
        return self.tmp_singer_url
    # 利用歌曲id获取歌曲链接
    def get_music_url(self, songmid):
        return 'https://u.y.qq.com/cgi-bin/musicu.fcg?data={"req_0":{"module":"vkey.GetVkeyServer","method":"CgiGetVkey","param":{"guid":"' + self.guid + '","songmid":["' + songmid + '"],"songtype":[0],"uin":"27281729","loginflag":1,"platform":"20"}},"comm":{"uin":"27281729","format":"json","ct":24,"cv":0}}'
    # 获取指定url的响应内容
    def parse_url(self, url):
        response = requests.get(url, headers=self.headers)
        return response.content
    # 从响应内容获取歌曲的列表
    def get_song_url(self, content):
        song_dict = json.loads(content.decode())
        sip = song_dict["req_0"]["data"]["sip"][0] # http://ws.stream.qqmusic.qq.com/
        purl = song_dict["req_0"]["data"]["midurlinfo"][0]["purl"]
        url = sip + purl
        filename = song_dict["req_0"]["data"]["midurlinfo"][0]["filename"]
        return url, filename
    # 将音乐的url响应的内容通过二进制输出到文件中
    def write_song_to_file(self, content, filename):
        with open(filename, "wb") as f:
            f.write(content)
        print(filename + "保存成功")
    # 获取歌曲列表
    def get_song_list(self, content):
        json_str = content.decode()
        song_dict = json.loads(json_str[9:-1])
        song_list = song_dict["data"]["song"]["list"]
        new_song_list = [ {"title": song["title"], "songmid": song["mid"]} for song in song_list]
        return new_song_list

    def run(self):
        # 获取歌手的url地址
        singer_url = self.get_singer_url()

        # 发送请求获取歌手的歌曲的列表
        singer_content = self.parse_url(singer_url)
        print(singer_content)

        # 解析歌手的歌曲列表
        song_list = self.get_song_list(singer_content)

        # 遍历歌曲列表，对每首歌进行操作
        for song in song_list:

            # 循环遍历歌手的歌曲列表，下载歌曲

            # 发送请求获取歌曲的下载地址
            # 获取初始化的url地址
            url = self.get_music_url(song["songmid"])

            # 发送请求获取响应
            content = self.parse_url(url)

            # 处理响应数据，获取歌曲的下载地址
            song_url, filename = self.get_song_url(content)

            filename = song["title"] + ".m4a"

            # 发送请求下载歌曲
            song_content = self.parse_url(song_url)

            # 保存到文件中
            self.write_song_to_file(song_content, filename)

这里的注释说的很清楚了，核心的方法是run，获取你相查的歌手的歌曲列表url，然后for循环每一首歌，获取歌曲文件的url，访问获得文件并以二进制输出到本地。
比如：

import json

import requests


class QQMusic:
    def __init__(self, singer):
        self.singer = singer
        self.tmp_singer_url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=58393477745290472&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=10&w=' + self.singer + '&g_tk=5381&loginUin=249099&hostUin=0&platform=yqq.json&needNewCode=0'

        self.guid = "3481851020"
        self.headers = {
            "Referer": "https://y.qq.com/portal/player.html",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
        }
    # 获取歌手名
    def get_singer_url(self):
        return self.tmp_singer_url
    # 利用歌曲id获取歌曲链接
    def get_music_url(self, songmid):
        return 'https://u.y.qq.com/cgi-bin/musicu.fcg?data={"req_0":{"module":"vkey.GetVkeyServer","method":"CgiGetVkey","param":{"guid":"' + self.guid + '","songmid":["' + songmid + '"],"songtype":[0],"uin":"27281729","loginflag":1,"platform":"20"}},"comm":{"uin":"27281729","format":"json","ct":24,"cv":0}}'
    # 获取指定url的响应内容
    def parse_url(self, url):
        response = requests.get(url, headers=self.headers)
        return response.content
    # 从响应内容获取歌曲的列表
    def get_song_url(self, content):
        song_dict = json.loads(content.decode())
        sip = song_dict["req_0"]["data"]["sip"][0] # http://ws.stream.qqmusic.qq.com/
        purl = song_dict["req_0"]["data"]["midurlinfo"][0]["purl"]
        url = sip + purl
        filename = song_dict["req_0"]["data"]["midurlinfo"][0]["filename"]
        return url, filename
    # 将音乐的url响应的内容通过二进制输出到文件中
    def write_song_to_file(self, content, filename):
        with open(filename, "wb") as f:
            f.write(content)
        print(filename + "保存成功")
    # 获取歌曲列表
    def get_song_list(self, content):
        json_str = content.decode()
        song_dict = json.loads(json_str[9:-1])
        song_list = song_dict["data"]["song"]["list"]
        new_song_list = [ {"title": song["title"], "songmid": song["mid"]} for song in song_list]
        return new_song_list

    def run(self):
        # 获取歌手的url地址
        singer_url = self.get_singer_url()

        # 发送请求获取歌手的歌曲的列表
        singer_content = self.parse_url(singer_url)
        print(singer_content)

        # 解析歌手的歌曲列表
        song_list = self.get_song_list(singer_content)

        # 遍历歌曲列表，对每首歌进行操作
        for song in song_list:

            # 循环遍历歌手的歌曲列表，下载歌曲

            # 发送请求获取歌曲的下载地址
            # 获取初始化的url地址
            url = self.get_music_url(song["songmid"])

            # 发送请求获取响应
            content = self.parse_url(url)

            # 处理响应数据，获取歌曲的下载地址
            song_url, filename = self.get_song_url(content)

            filename = song["title"] + ".m4a"

            # 发送请求下载歌曲
            song_content = self.parse_url(song_url)

            # 保存到文件中
            self.write_song_to_file(song_content, filename)


if __name__ == '__main__':
    singer = "李荣浩"
    qqmusic = QQMusic(singer)
    qqmusic.run()

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这样就爬到音乐了！请各位观众老爷给个赞?吧！！
在这里插入图片描述

滑技工厂
关注
  • 14
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
2024年最新Python爬虫QQ音乐数据采取，公开数据获取案例之一
2401_84584682的博客
05-02 1760
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
基于Python的QQ音乐音频图片搜索系统设计与实现 毕业论文+源码
m0_61837203的博客
09-20 514
下载地址：https://download.csdn.net/download/m0_61837203/23769927 目录 爬虫： 1 一、库 1 二、实现功能 2 三、实现过程 2 四、难点 3 界面： 3 （2） 当检测到鼠标滑过图片区域时，图片下部的歌曲信息由原先的一行专辑名 6 文本搜索： 9 一、库 9 二、原理 9 三、实现步骤 10 图片搜索： 一、库1.H5py 2.OpenCV 11 3. Numpy 11 二、原理 11 三、实现步骤 11 四、测试
【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息
热门推荐
ATFWUS的博客
03-21 6万+
本文使用Selenium爬取QQ音乐歌曲及评论信息，面向新手，对使用到的技术有简单的介绍，附有完整代码。
手把手教你使用Python抓取QQ音乐数据！
爬遍所有网站
04-06 2334
【一、项目目标】 通过手把手教你使用Python抓取QQ音乐数据（第一弹）我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 通过手把手教你使用Python抓取QQ音乐数据（第二弹）我们实现了获取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评。 通过手把手教你使用Python抓取QQ音乐数据（第三弹）我们实现了获取更多评论并生成词云图。 ...
python爬取QQ音乐
qq_50401519的博客
06-08 7871
爬虫爬取QQ音乐 import json import os import requests w=str(input('输入歌名：')) if not os.path.exists('./QQ音乐'): os.mkdir('./QQ音乐') url = f"https://c.y.qq.com/soso/fcgi-bin/client_search_cp?" param={ 'ct':'24', 'qqmusic_ver':'1298', 'new_json':'1', 'remoteplace':
手把手教你使用Python抓取QQ音乐数据（第三弹）
pdcfighting的博客
06-28 994
【一、项目目标】 通过手把手教你使用Python抓取QQ音乐数据（第一弹）我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 通过手把手教你使用Python抓取QQ音乐数据（第二弹）我们实现了获取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评。 此次我们在项目（二）的基础上获取更多评论并生成词云图，形成手把手教你使用Python抓取QQ音乐数据（第三弹）。 【二、需要的库】 主要涉及的库有：requests、json、wordcloud、jieba 如需更换词云图背景图片还需要
python批量爬取QQ音乐歌手的歌曲等信息
ren_qx的博客
08-21 1670
import requests,openpyxl #导入模块 wb=openpyxl.Workbook() #创建工作薄 sheet=wb.active #获取工作薄的活动表 sheet.title='restaurants' #工作表重命名 sheet['A1'] ='歌曲名' #加表头，给A1单元格赋值 sheet['B1'] ='所属专辑' #加表头，给B1单元格赋值 sheet['C1'] ='播放时长' #加表头，给C1单元格赋值 sheet['D1'] ='播放链接'
python3使用requests模块爬取页面内容的实战演练
09-21
本篇文章主要介绍了python3使用requests模块爬取页面内容的实战演练，具有一定的参考价值，有兴趣的可以了解一下
Python基于requests库爬取网站信息
09-17
在这里，`requests.get(url)`发送了一个GET请求到指定的URL。返回的`response`对象包含了服务器的响应，包括状态码、头部信息和网页内容。`response.text`属性提供了网页内容的字符串形式。 为了进一步解析HTML页面...
python requests库爬取豆瓣电视剧数据并保存到本地详解
09-18
总的来说，这个教程详细介绍了如何使用Python的requests库爬取豆瓣电视剧数据，并通过JSON解析和文件操作将数据保存到本地文本文件。这不仅涵盖了HTTP请求的基本操作，还涉及到了网络爬虫的常见步骤，包括URL构造、...
python 使用基础requests 去爬取网页上面的图片并下载
03-10
python 使用基础requests 去爬取网页上面的图片并下载
[python]Beautifulsoap&Tkinter简单爬取QQ音乐歌曲信息并保存
renboyu010214的博客
03-02 331
简单爬取QQ音乐歌曲信息并保存 import tkinter as tk import requests import json from bs4 import BeautifulSoup import openpyxl import tkinter.messagebox # 要使用messagebox先要导入模块 windows=tk.Tk(...
如何更换计算机中音乐的播放器,电脑中自定义更换QQ音乐歌曲封面图的操作步骤...
weixin_30349167的博客
07-02 1324
QQ音乐音乐的使用中，小伙伴们遇到故障可以直接在本网站上进行搜索，找到处理故障的方法，那有用户发现听歌的时候，歌曲封面和显示的出处内容与不相符的问题导致我们的听歌体验不是很好，遇到这一个QQ音乐使用中歌曲封面故障的情况，应该怎么哦更换的了，今天小编就来跟大家分享一下，电脑中自定义更换QQ音乐歌曲封面图的操作步骤。具体的方法和详细的步骤如下;1、打开QQ音乐，选择“本地和下载”，选取想改变封面的歌曲...
qq音乐专辑封面 api
学习笔记
12-16 7987
因为好奇，打算从qq音乐http://y.qq.com/#type=index  抓取它的专辑封面http://y.qq.com/#type=album&index= ，不得不佩服qq产品做的都很精细，专辑封面都是非常 的全，而且清晰度还不错。     本来准备分析qq音乐专辑页面，这样只要解析一下html文件，就可以找出专辑了（以前抓取人人好友相册的时候就是这么干的）。不过保存网页分析之后，
【Python脚本】Python轻松爬取歌曲，小白也能轻松上手操作！
最新发布
weixin_45841831的博客
06-26 6491
音乐抓取是一种非常有趣和实用的技术，它可以让我们通过程序从互联网上获取音乐文件，比如MP3文件。在本案例文章中，我们将使用Python编写一个简单的音乐抓取程序，来演示如何使用Python进行音乐抓取。
QQ音乐爬虫(with scrapy)/QQ Music Spider
红雨瓢泼的博客
01-02 3656
QQ音乐爬虫(with scrapy)/QQ Music Spider 项目介绍 项目github地址：QQ音乐爬虫 在写一个项目的时候需要用到一些音乐的信息，但是在网上找了许久也没找到满意的音乐语料，于是便用scrapy写了一个QQ音乐的爬虫 由于本人只需要用到中文歌曲，所以仅使用该爬虫爬取了QQ音乐中排名前6400名的内地和港台歌手的49万+的歌曲信息，该资源也分享到了百度云(该资源仅用于学...
ns3使用总结（常用语句）
weixin_42438335的博客
10-29 1352
ns3欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑
【python】实验3：根据实验2中爬取的信息，对某位一个歌手的某一首歌曲的评论内容进行处理，画出词云。
qq_49081198的博客
07-03 737
1.根据实验2中爬取的信息，对某位一个歌手的某一首歌曲的评论内容进行处理。 2.分析评论中的词性分布。 3.统计高频词，画出词云。 QQ音乐爬取信息处理 from selenium import webdriver import csv wd=webdriver.Chrome(r'd:\chromedriver\chromedriver.exe') wd.implicitly_wait(10) ''' wd.get('https://y.qq.com') #关闭打开客户端界面 from time impor
【python】实验2项目2：使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手（陈奕迅）
qq_49081198的博客
07-03 1298
请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手（可以是任意歌手）最受欢迎的前5首歌曲的歌词、流派、歌曲发行时间、评论条数、评论时间、评论点赞次数、评论内容具体(每一首歌的评论>=500条)。QQ音乐地址https://y.qq.com/ 如下图所示： 用CSV模块将数据存储下来（文件名：QQMusic.csv） 使用Pandas模块创建5个Series，即一首歌的数据一个Series，统计每首歌的每个评论点赞次数（没有点赞则为0次），求5首歌的平均点赞次数和标准差。 使用P
python爬取qq音乐歌手歌单
06-01
你可以使用 Python 的 requests 库和 BeautifulSoup 库来实现爬取 QQ 音乐歌手的歌单。以下是一个简单的流程： 1. 找到QQ音乐的歌手列表页面，例如 https://y.qq.com/portal/singer_list.html。 2. 使用 requests 库获取该页面的 HTML 代码。 3. 使用 BeautifulSoup 库解析 HTML 代码，并找到歌手列表对应的 HTML 元素。 4. 对于每个歌手，获取其主页 URL，并访问该页面。 5. 在歌手主页中，可以找到其所有的歌单。使用类似的方式获取歌单页面的 HTML 代码，并解析得到歌单列表对应的 HTML 元素。 6. 对于每个歌单，获取其名称、封面、以及包含的歌曲列表等信息。 7. 将获取到的歌手、歌单、歌曲等信息保存到本地文件或数据库中。 需要注意的是，为了避免被封 IP，需要采取一些措施，例如设置请求头、限制请求频率等。另外，也需要遵守相关法律法规，不要进行非法的数据采集行为。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值