爬取某音乐榜单歌曲

一、打开网页https://music.163.com/,进入榜单(热歌榜)

二、右键检查、刷新网页,选择元素(点击歌曲名)

三、相关代码

import requests
#正则表达式模块内置模块
import re
import os

filename = 'music\\'
if not os.path.exists(filename):
    os.mkdir(filename)
#如果想要爬取其他榜单的内容,只需要更改请求URL中的ID
url = 'https://music.163.com/discover/toplist?id=3778678'
#请求头
headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
response = requests.get(url=url,headers=headers)
# print(response.text)
html_data = re.findall('<li><a href="/song\?id=(\d+)">(.*?)</a>',response.text)

for num_id,title in html_data:
    music_url = f'http://music.163.com/song/media/outer/url?id={num_id}.mp3'
    #对于音乐播放地址发送请求,获取二进制数据内容
    music_content = requests.get(url=url,headers=headers).content
    with open(filename + title +'.mp3',mode='wb') as f:
        f.write(music_content)
    print(num_id,title)

四、爬取结果

GET请求(直链,hMusic高品质, mMusic中品质, lMusic低品质):
http://music.163.com/api/song/detail/?id=歌曲id&ids=%5B歌曲id%5D
GET请求(直链下载 含VIP):
http://music.163.com/song/media/outer/url?id=歌曲id.mp3
Python中,爬取QQ音乐榜通常需要使用网络抓取库如`requests`获取网页内容,然后使用HTML解析库如`BeautifulSoup`或`lxml`来解析网页结构,找到所需的数据。以下是一个简的步骤概述: 1. **安装依赖库**: - `requests`用于发送HTTP请求 - `beautifulsoup4`或`lxml`用于解析HTML ```bash pip install requests beautifulsoup4 # 或者如果你偏好性能更好的解析器 pip install lxml ``` 2. **发送GET请求**: 使用`requests.get()`获取QQ音乐榜页面的源代码。 3. **解析HTML**: 解析返回的HTML,找出包含歌曲信息的部分。这可能涉及到查找特定CSS选择器或XPath表达式来定位元素。 ```python import requests from bs4 import BeautifulSoup url = 'https://y.qq.com/ranking/yyrank.html' # QQ音乐总榜地址 response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') ``` 4. **提取数据**: 找到并提取歌名、歌手、排名等信息。这可能需要循环遍历找到的相关列表或元素。 5. **处理数据**: 将提取的数据存储在一个合适的结构中,比如字典或列表,以便后续处理。 6. **保存数据**: 如果有需求,可以将数据保存为CSV、JSON或其他文件格式,或者直接打印到控制台。 由于网站可能会有反爬虫策略,例如验证码、IP限制,实际操作时可能需要设置用户代理,使用代理服务器,或者定期休息以避免频繁请求导致封禁。此外,务必遵守网站的robots.txt规则,并尊重版权。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马龙强_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值