爬取QQ音乐2W歌单和50W首歌曲

最新推荐文章于 2024-10-03 12:20:49 发布
最新推荐文章于 2024-10-03 12:20:49 发布
阅读量1w 收藏 23
点赞数 2
分类专栏： 爬虫 文章标签： 爬取QQ音乐 QQ音乐爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lht_okk/article/details/77206510
版权

主要运用了Python中的Requests包和json包获取内容，写入到Mongodb数据库并保存，pandas用于导出数据，代码详细我最后会给出github

接口分析并爬取歌单id

我发现html源码并没有我想要的数据，所以分析了Ajax请求，得到了我想要的数据。

在Chrome按F12（或Fn+F12）打开开发者工具，在Network中选择JS，并且刷新页面，找到关于歌单的渲染连接。

点击Headers获取链接https://c.y.qq.com/splcloud/fcgi-bin/fcg_get_diss_by_tag.fcg，注意参数和headers信息

必须传入referer参数，不然你会得不到请求。它的返回内容只要提取getPlaylist(）里面的内容就是json内容，我们可以用json包解析得到一个基于字典（dict）格式的数据块。代码函数如下：

#爬取歌单id
def getDissid(sin,ein):
    url = 'https://c.y.qq.com/splcloud/fcgi-bin/fcg_get_diss_by_tag.fcg'
    header = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
        'cookie':'RK=7dNm4/X+Yj; tvfe_boss_uuid=bf00ee54e9081ab4; pgv_pvi=8772238336; pac_uid=1_857193777; pgv_pvid=6457341280; o_cookie=80; ptcz=c761e59c8c8d6bd5198866d02a5cb7313af1af468006c455d6c2b5d26201d42e; pgv_si=s10759168; _qpsvr_localtk=0.08285763449905015; ptisp=ctc; luin=o0857193777; lskey=00010000228dd1371b945c68ecfd3b71d3071425024a7a8a2a23e3ffcb5b9904c9f7088d2ea8c01539ffed92; pt2gguin=o0857193777; uin=o0857193777; skey=@Kydi7w0EI; p_uin=o0857193777; p_skey=HjsE9sEjznJfXk*9KFEeW4VZr6i3*tlXZ2nuzEw8kCg_; pt4_token=c-p6sv3JEboA51cSQ3ABqxM8O80Jct3jYYkgy-aEQuE_; p_luin=o0857193777; p_lskey=000400008f9c296cd10c03a5173d22a184aad124d791568e90e4198beb8ad699a4d02fbfc059f71ab3d8758c; ts_last=y.qq.com/portal/playlist.html; ts_refer=ui.ptlogin2.qq.com/cgi-bin/login; ts_uid=3392060960',
        'referer':'https://y.qq.com/portal/playlist.html'
    }
    paramter = {
        'g_tk':'1089387893',
        'jsonpCallback':'getPlaylist',
        'loginUin':'0',
        'hostUin':'0',
        'format':'jsonp',
        'inCharset':'utf8',
        'outCharset':'utf-8',
        'notice':'0',
        'platform':'yqq',
        'needNewCode':'0',
        'categoryId':'10000000',
        'sortId':'5',
        'sin':sin,#开始结点
        'ein':ein #结束结点，用于翻页
    }
    html = requests.get(url=url,params=paramter,headers=header)
    res = json.loads(html.text.lstrip('getPlaylist(').rstrip(')'))['data']['list']
    data = []
    if res != []:
        for t_item in res:
            item = {}
            ILLEGAL_CHARACTERS_RE = re.compile(r'[\000-\010]|[\013-\014]|[\016-\037]') #用于去掉非法字符
            item['createtime']      = t_item['createtime']
            item['creator_qq']      = t_item['creator']['qq']
            item['creator_name']    = t_item['creator']['name']
            item['creator_name'] = ILLEGAL_CHARACTERS_RE.sub(r'', item['creator_name'])
            item['creator_isVip']    = t_item['creator']['isVip']
            item['dissid']          = t_item['dissid']	#
            item['dissname']        = t_item['dissname']
            item['dissname'] = ILLEGAL_CHARACTERS_RE.sub(r'', item['dissname'])
            item['listennum']       = t_item['listennum']
            data.append(item)
    return data

歌单接口分析并获取歌单信息和歌曲id，同样的获取方式，打开开发者工具


代码如下

#爬取歌曲id
def getSongid(dissid):
    url = 'https://c.y.qq.com/qzone/fcg-bin/fcg_ucc_getcdinfo_byids_cp.fcg'
    header = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
        'referer':'https://y.qq.com/n/yqq/playlist/{}.html'.format(dissid)
    }
    paramters = {
        'type':'1',
        'json':'1',
        'utf8':'1',
        'onlysong':'0',
        'disstid':dissid,
        'format':'jsonp',
        'g_tk':'1089387893',
        'jsonpCallback':'playlistinfoCallback',
        'loginUin':'0',
        'hostUin':'0',
        'inCharset':'utf8',
        'outCharset':'utf-8',
        'notice':0,
        'platform':'yqq',
        'needNewCode':0
    }
    html = requests.get(url=url,params=paramters,headers=header)
    cdlist = json.loads(html.text.lstrip('playlistinfoCallback(').rstrip(')'))['cdlist']
    if len(cdlist)>=1:
        cdlist = cdlist[0]
    data1 = {}  #保存歌单信息数据
    data2 = []  #用于保存歌曲部分信息
    ILLEGAL_CHARACTERS_RE = re.compile(r'[\000-\010]|[\013-\014]|[\016-\037]')
    data1['desc'] = ILLEGAL_CHARACTERS_RE.sub(r'', cdlist['desc'])
    data1['dissid'] = dissid
    data1['songids'] = cdlist['songids']
    data1['tags'] = ','.join([i['name'] for i in cdlist['tags']])

    tags = ','.join([i['name'] for i in cdlist['tags']])
    for item in cdlist['songlist']:
        tmp = {}
        tmp['albumname'] = item['albumname']
        tmp['songname']  = item['songname']
        tmp['singer']  = ','.join([i['name'] for i in item['singer']])
        tmp['tags'] = tags
        if item.has_key('size128'):
            tmp['size128'] = item['size128']
        if item.has_key('songmid'):
            tmp['songmid'] = item['songmid']
        if item.has_key('songid'):
            tmp['songid'] = item['songid']
        data2.append(tmp)
    return [data1,data2]
歌曲详细信息数据的获取，用同样的方法分析接口链接，并且传入歌曲id，这里就不累赘重复方法了，这一步主要目的是获取歌词，用于后续的文本分析。这里要注意的是，由于歌词源码是如图所示的内容，因此我们利用正则对歌词做了稍微的清洗。 



#获取歌词内容
def getLyric(musicid,songmid):
    url = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric.fcg'
    header = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
        'referer':'https://y.qq.com/n/yqq/song/{}.html'.format(songmid)
    }
    paramters = {
        'nobase64':1,
        'musicid':musicid, #传入之前获取到的id
        'callback':'jsonp1',
        'g_tk':'1134533366',
        'jsonpCallback':'jsonp1',
        'loginUin':'0',
        'hostUin':'0',
        'format':'jsonp',
        'inCharset':'utf8',
        'outCharset':'utf-8',
        'notice':'0',
        'platform':'yqq',
        'needNewCode':'0'
    }
    html = requests.get(url=url,params=paramters,headers=header)
    res = json.loads(html.text.lstrip('jsonp1(').rstrip(')'))
    #由于一部分歌曲是没有上传歌词，因此没有默认为空
    if res.has_key('lyric'):
        lyric = json.loads(html.text.lstrip('jsonp1(').rstrip(')'))['lyric']
        #对歌词内容做稍微清洗
        dr1 = re.compile(r'&#\d.;',re.S)
        dr2 = re.compile(r'\[\d+\]',re.S)
        dd = dr1.sub(r'',lyric)
        dd = dr2.sub(r'\n',dd).replace('\n\n','\n')
        return dd
    else:
        return ""
这里在爬取歌曲信息信息和歌词的时候，因为获取到的歌曲id就有70多W（包括重复的），建议开启多线程或者多进程，我就是用pool.map开启了4进程爬取，效率提高了不止4倍，大概2天就爬完了（当然每个人电脑配置不一样，我的比较渣）

数据样式图



心得：

1.获取QQ音乐的接口链接其实不是很难，数据也是很明显就看到了。

2.一开始明明是请求成功，就是返回空数据，后来才发现原来是headers传少了referer参数，因为原先没有传入referer的习惯，忽略了。

3,.歌曲时长里面是没有具体数据的，只有文件大小，不过我想应该可以根据文件大小转化为时长，差个公式。

4.代码中用到了Mongo数据库，因为数据量有点多，不能保证一次性跑完并且中途不出差错，就没有用pandas.to_csv最后写入数据。


详细代码链接：https://github.com/lhtlht/qqmusic


写的不好，多多指正，谢谢！







感冒灵pp
关注
专栏目录
爬取音乐mp3
Mr_Deng_的博客
03-15 592
# 下载歌曲代码，可以下载 周杰伦 的哦！给各位杰迷的福利哦！！！哈哈哈 # coding=utf-8 import requests,json,os,time from urllib import parse # 获取歌曲列表提取MP3链接地址 def get_music_list(keywords, page): encodeKeyWords = parse.quote(keywords) #quote()将字符串进行编码 url =...
python爬取音乐并保存的格式_python爬取QQ音乐歌单歌曲保存到本地，json解析
weixin_36230821的博客
02-21 1387
序：python强大的功能，可以爬取网上的某些信息，本次主要是通过爬歌单信息熟悉下python基础。用到知识点：1、python3、urllib.request.openurl2、json (json字符串解析为python对象)3、python 文件操作，爬取到的信息写入txt文本。4、list、dict相关操作、遍历，str字符截取。5、字符编码相关utf-8首先，我们要先分析要爬取的内容，我...
python爬虫爬取音乐
最新发布
如风
10-03 621
以上代码是学习小峰博主视频内容。
爬取QQ音乐歌手的歌单
weixin_30856725的博客
03-22 940
import requests# 引用requests库res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=6099742...
Python获取QQ音乐某个歌手的歌单。
qq_hua_xia的博客
03-31 1万+
简易版本以CSV形式呈现爬取结果，完整代码如下： import requests # 请求 from fake_useragent import UserAgent import json print("请输入您想要爬取清单的歌手名：") name = input() ua = UserAgent() headers = { 'User-Agent': ua.random, 'cookie':'RK=LdWlHMsQ+b; ptcz=...
Python爬虫下载收费音乐
王昭阳的博客
09-12 1万+
#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2020/9/12 17:03 # @Author : Joe Wang # @FileName: 01.py # @Software: PyCharm # @Blog ：https://blog.csdn.net/wangzhaoyoung import requests import json import os def music_download(): kw =
Python应用爬虫下载QQ音乐歌曲！
Python_trys的博客
07-12 4139
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970。
python爬取qq音乐歌词风变编程_爬取QQ音乐歌词
weixin_39813263的博客
12-08 619
#!/usr/bin/env python3# -*- coding: utf-8 -*-# @DESC： 爬取歌手前3页歌曲的歌词都爬取下来，并按歌名分别保存# @Date: 2020-05-21import requestsimport re,osos.makedirs('music',exist_ok=True)## 添加请求头headers = {'user-agent':'Mozilla...
python爬取音乐并保存_python爬取QQ音乐歌单歌曲保存到本地，json解析
weixin_39613548的博客
11-21 1457
序：python强大的功能，可以爬取网上的某些信息，本次主要是通过爬歌单信息熟悉下python基础。用到知识点：1、python3、urllib.request.openurl2、json (json字符串解析为python对象)3、python 文件操作，爬取到的信息写入txt文本。4、list、dict相关操作、遍历，str字符截取。5、字符编码相关utf-8首先，我们要先分析要爬取的内容，我...
爬虫入门——爬取QQ音乐某一歌手前五首歌曲信息及相关评论
yolo_______95的博客
04-14 1376
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import.
从9ku中爬取并下载音乐
04-02
从9ku中爬取并下载音乐，先搜索需要下载的音乐，然后将类似http://www.9ku.com/erge/240.htm的页面修改为你的页面，运行即可下载。9ku中的音乐多为m4a格式，需要转码，可以用类似goldwave转码后使用。
python利用charles爬虫爬取下载qq音乐歌单里的歌曲——多进程
行者刘6
04-28 4448
因为这是我第一个独立实践的爬虫项目，所以这次把思路都放上来了特别注意，用的是charles，可以拦截查看url知识点：·······利用charles分析网页，抓包，得出对应URL·······json网页不是可以直接用json.load 直接转换json的·······利用find_path快速找到所需内容的路径······学会用try，预防程序中断·······urltrieve下载文件可以添...
Python 爬取QQ音乐个人单曲排行榜
czb6816的博客
04-04 3524
分析网页成分，歌曲信息都存在图中所示xhr中 详细代码实现如下： import requests import openpyxl # 设置参数，判断是否需要重复下载 answer = 'y' while answer != 'n': # 创建工作簿 wb = openpyxl.Workbook() # 获取工作簿的活动表 sheet = wb.act...
Python获取QQ音乐歌单歌曲
唯有热爱 可抵万难
07-04 558
Python获取QQ音乐歌单歌曲
python爬虫基础Ⅱ——Ajax数据爬取、带参请求：QQ音乐歌单、QQ音乐评论
早睡早起
07-17 1779
文章目录基础爬虫部分Ⅱjson1. Network2. XHR怎么请求？3. 什么是json？4. json数据如何解析？带参数请求1. 复习2. params3. 添加Headers 基础爬虫部分Ⅱ json 有点不知从何说起，那我就乱来了鸭 XD 现在呢，我想获取QQ音乐里周杰伦的歌曲清单。按照前边说的，可能会写出这样的代码： import requests from bs4 import...
scrapy爬取qq音乐
weixin_42263548的博客
05-24 1584
url分析，拿到初始url（start_url）要爬取的内容为qq音乐的排行榜中的歌曲，首先我们要分析url：1.打开qq音乐的首页，点击排行榜，右键，检查（谷歌浏览器，其他浏览器各有不同，360浏览器为：审查元素）。 2.右键，检查： 3. 我们要分析所有向后台发出的请求，找出有用的url。点击Network，然后刷新页面。我们会看到有很多请求。 我们对所有的请求进行过滤和筛选，此时选用最笨的方...
真给力，字节跳动年度首发《音视频开发进阶指南》限时领取，理论与实战齐飞
m0_60721649的博客
05-02 147
音视频播放：音视频同步音视频解封和封装：生成一个MP4。
【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息
热门推荐
ATFWUS的博客
03-21 6万+
本文使用Selenium爬取QQ音乐歌曲及评论信息，面向新手，对使用到的技术有简单的介绍，附有完整代码。
python爬取qq音乐歌手歌单
06-01
你可以使用 Python 的 requests 库和 BeautifulSoup 库来实现爬取 QQ 音乐歌手的歌单。以下是一个简单的流程： 1. 找到QQ音乐的歌手列表页面，例如 https://y.qq.com/portal/singer_list.html。 2. 使用 requests 库获取该页面的 HTML 代码。 3. 使用 BeautifulSoup 库解析 HTML 代码，并找到歌手列表对应的 HTML 元素。 4. 对于每个歌手，获取其主页 URL，并访问该页面。 5. 在歌手主页中，可以找到其所有的歌单。使用类似的方式获取歌单页面的 HTML 代码，并解析得到歌单列表对应的 HTML 元素。 6. 对于每个歌单，获取其名称、封面、以及包含的歌曲列表等信息。 7. 将获取到的歌手、歌单、歌曲等信息保存到本地文件或数据库中。 需要注意的是，为了避免被封 IP，需要采取一些措施，例如设置请求头、限制请求频率等。另外，也需要遵守相关法律法规，不要进行非法的数据采集行为。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

感冒灵pp

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值