Python爬虫使用实例-网抑云歌手热门单曲top50

已于 2024-09-26 20:19:07 修改
阅读量1k 收藏 10
点赞数 14
分类专栏： # Python 文章标签： python 爬虫 开发语言
于 2024-09-26 20:17:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45693567/article/details/142573719
版权

目标网址：

https://music.163.com/#/artist?id=××××××××

与排行榜的一样，类似的，只需要替换url
例如：排行榜：url='.../discover/toplist?id=××××××××'
歌手热门单曲：url='.../artist?id=××××××××'

Python爬虫使用实例_网易云歌榜

  • 防止创建title时字符报错导致中断
  • 文件名按歌手自定义，根据 <h2> 标签的内容动态生成 filename
  • 多线程下载 URL列表 中的音乐数据，使用 Python 的 concurrent.futures 模块

一、防止字符报错导致中断

出现报错：

FileNotFoundError: [Errno 2] No such file or directory: ‘music\霄玉若惜【仙剑奇侠传四（玄霄/夙玉）】.mp3’

原因分析：
出现无法写入的字符/了
在这里插入图片描述

这些字符在Windows操作系统中具有特殊的意义或用途，如果允许在文件名中使用，可能会导致系统无法正确处理文件或引发错误。具体来说：

  • 反斜杠（\）和正斜杠（/）‌：这些字符在Windows路径中用于分隔目录和文件名。如果在文件名中使用这些字符，可能会导致路径解析错误。
  • 冒号（:）：用于表示驱动器的分隔符（例如C:），因此不能在文件名中使用。
  • 星号（*）和问号（?）‌：这些字符在Windows中用作通配符，用于匹配文件名模式。在文件名中使用它们可能会导致意外的匹配或过滤错误。
  • 双引号（"）‌：在命令行中，双引号用于标识参数，如果文件名中包含双引号，可能会导致命令解析错误。
  • 尖括号（< >）和竖线（|）‌：这些字符在命令行中有特定的用途，如输入/输出重定向和管道操作。在文件名中使用它们可能会干扰这些操作。

解决方法：
在文件名创建之前使用正则表达式来替换掉不允许的字符
比如：替换/
当title中出现\/:*?"<>|任意字符时，将其替换为一个空格
在这里插入图片描述

实现代码：

import os
import re
import requests

filename = 'music\\'
if not os.path.exists(filename):
    os.mkdir(filename)
url = 'https://music.163.com/artist?id=××××××××'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
html_data = re.findall('<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text) # 使用正则表达式匹配歌曲ID和标题
invalid_chars_pattern = r'[\/:*?"<>|]' # 定义需要替换的非法字符
for num_id, title in html_data:
    title = re.sub(invalid_chars_pattern, ' ', title) # 将非法字符替换为空格
    music_url = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3' # 创建音乐文件的URL
    music_content = requests.get(url=music_url, headers=headers).content
    with open(os.path.join(filename, title.strip() + '.mp3'), mode='wb') as f:
        f.write(music_content)
    print(num_id, title)

替换url，去除url中间的#/

运行结果：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

二、代码优化

减少冗余 结构清晰 功能明确
从而提高代码的可读性，使代码易于维护和扩展。

  1. 功能划分: 函数划分使得每个部分的功能更明确。
    • create_music_folder(): 用于创建音乐保存文件夹。
    • get_music_data(): 获取音乐数据，返回歌曲ID和标题的列表。
    • sanitize_title(): 对标题进行清理，替换非法字符。
    • download_music(): 下载指定歌曲并保存。
    • main(): 程序的主入口。
  2. 减少全局变量的使用: 避免使用过多的全局变量，通过参数传递所需的信息。
  3. 字符串格式化: 使用f-string（如f"{value}"）提高代码的可读性。
import os
import re
import requests

# 创建音乐保存文件夹
def create_music_folder(folder_name='music1'): #def create_music_folder(folder_name='music'):
    if not os.path.exists(folder_name):
        os.mkdir(folder_name)
# 获取数据 返回歌曲ID和标题的列表
def get_music_data(url, headers):
    response = requests.get(url, headers=headers)
    return re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)
# 标题清理 替换非法字符
def sanitize_title(title):
    return re.sub(r'[\/:*?"<>|]', ' ', title)
# 下载歌曲 并保存
def download_music(num_id, title, folder_name='music1'): #def download_music(num_id, title, folder_name='music'):
    music_url = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3'
    music_content = requests.get(music_url).content
    file_path = os.path.join(folder_name, f"{sanitize_title(title).strip()}.mp3")
    with open(file_path, 'wb') as f:
        f.write(music_content)
# 程序的主入口
def main():
    create_music_folder()
    url = 'https://music.163.com/artist?id=××××××××' # url = 'https://music.163.com/artist?id=12480034'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
    }
    music_data = get_music_data(url, headers)
    for num_id, title in music_data:
        download_music(num_id, title)

if __name__ == "__main__":
    main()

三、文件名按歌手自定义

在这里插入图片描述

函数 get_artist_name() 从页面的 HTML 中提取 <h2> 标签里的内容作为文件夹名称。

在这里插入图片描述
在这里插入图片描述
修改id即可

import os
import re
import requests
# create a folder to save the music
def create_music_folder(folder_name):
    if not os.path.exists(folder_name):
        os.mkdir(folder_name)
# extracts a valid artist name or list name from the tag <h2>
def get_artist_name(html):
    match = re.search(r'<h2[^>]*>(.*?)</h2>', html)
    if match:
        return match.group(1).strip()
    return "Unknown Artist"
# get data, return a list of song ids and titles
def get_music_data(url, headers):
    response = requests.get(url, headers=headers)
    return re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text), response.text
# title cleanup, replaces illegal characters
def sanitize_title(title):
    return re.sub(r'[\/:*?"<>|]', ' ', title)
# download the song and save it
def download_music(num_id, title, folder_name):
    music_url = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3'
    music_content = requests.get(music_url).content
    file_path = os.path.join(folder_name, f"{sanitize_title(title).strip()}.mp3")
    with open(file_path, 'wb') as f:
        f.write(music_content)
# main entry point
def main():
    url = 'https://music.163.com/artist?id=××××' # can be changed to the appropriate URL
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
    }
    # get music data and html content
    music_data, html = get_music_data(url, headers)
    # extract the artist name or list name as the folder name
    artist_name = get_artist_name(html)
    create_music_folder(artist_name)
    # download
    for num_id, title in music_data:
        download_music(num_id, title, artist_name)

if __name__ == "__main__":
    main()

四、多线程下载 URL列表 中的音乐数据

可以使用 Python 的 concurrent.futures 模块。传入一个 URL 列表，并使用 ThreadPoolExecutor 来实现多线程下载。

import os
import re
import requests
from concurrent.futures import ThreadPoolExecutor

# create a folder to save the music
def create_music_folder(folder_name):
    if not os.path.exists(folder_name):
        os.mkdir(folder_name)

# extracts a valid artist name or list name from the tag <h2>
def get_artist_name(html):
    match = re.search(r'<h2[^>]*>(.*?)</h2>', html)
    if match:
        return match.group(1).strip()
    return "Unknown Artist"

# get data, return a list of song ids and titles
def get_music_data(url, headers):
    response = requests.get(url, headers=headers)
    return re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text), response.text

# title cleanup, replaces illegal characters
def sanitize_title(title):
    return re.sub(r'[\/:*?"<>|]', ' ', title)

# download the song and save it
def download_music(num_id, title, folder_name):
    music_url = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3'
    music_content = requests.get(music_url).content
    file_path = os.path.join(folder_name, f"{sanitize_title(title).strip()}.mp3")
    with open(file_path, 'wb') as f:
        f.write(music_content)

# download songs
def download_artist_music(url, headers):
    # get music data and html content
    music_data, html = get_music_data(url, headers)
    # extract the artist name or list name as the folder name
    artist_name = get_artist_name(html)
    create_music_folder(artist_name)
    # download
    for num_id, title in music_data:
        download_music(num_id, title, artist_name)

def main(urls):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
    }
    # multi-threading download music
    with ThreadPoolExecutor() as executor:
        executor.map(lambda url: download_artist_music(url, headers), urls)

if __name__ == "__main__":
    urls = [
        'https://music.163.com/artist?id=××××××××',
        'https://music.163.com/artist?id=××××'  # add more URLs
    ]
    main(urls)
镜花照无眠
关注
专栏目录
网易云音乐（一）爬取全部歌手及歌手id
wanhaiwei的博客
11-21 7024
  动听的音乐，走心的评论。 总会使人不断的遐想... 本系列将爬取分析网易云音乐最动听的音乐，最走心的评论。 本次爬取网易云音乐的所以歌手及歌手id。   一、网页分析 1.标签   通过点击左边已经分好类的标签及顶部的ABC等分类标签，得到网址地址参数。 例如：https://music.163.com/#/discover/artist/cat?id=1001&amp...
Python爬虫实例-爬取豆瓣Top250-保存为表格
11-06
Python爬虫实例-爬取豆瓣Top250-保存为表格
Python爬虫—获取某云歌曲和歌词
白帽阿叁的博客
12-09 2602
比如，我想听柯柯柯啊唱的，我们将后面的ID“2031912194“输入到歌曲ID输入框，点击进行爬取，稍等片刻，提示爬取成功后，就可以在当前目录生成对应mp3格式的歌曲以及txt格式的歌词。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
python网易云爬虫——实现网易云歌词的爬取(输入歌手的id，即可实现歌词的爬取)
SunnyCat
12-10 4350
python网易云爬虫——实现网易云歌词的爬取(输入歌手的id，即可实现歌词的爬取) 1、网页的分析 打开网易云音乐，找到任意一位歌手的歌曲界面（我们以邓紫棋的《来自天堂的魔鬼》为例）。 第一步：尝试常规思路，把网页的源码爬下来，直接对源码的分析，提取出来对应的歌词。上代码： import requests #引入request库 url = 'http://music.163.com/#/...
python爬虫No.1|爬取网易云音乐歌手的前50首歌曲ID及名字
weixin_44035986的博客
09-22 4335
自学pythonのNo.5引语知识总结RequestsXPath案例 曾经有这样的梗黑网易云音乐 实际上网易云是很不错的音乐软件之一。这个梗挺让我不舒服的，挫折谁都有，矫情没必要但对矫情之人冷嘲热讽更没必要难道不是么。题外话就到这吧。 引语 记录学习路程，抛砖引玉。如有更好的算法或者出现错误，欢迎指点。 知识总结 使用Requests库访问页面 使用XPath进行元素定位，爬取数据 解析、保存数据 Requests Requests是Python HTTP的客户端库，编写爬虫的时候都会用到，编写起来也
Python爬虫使用实例
路过人间
08-15 3542
几个python爬虫小例子：豆瓣电影，酷狗，千千，微博热搜和当当榜单。
Python3网络爬虫开发实战（5）Ajax 数据爬取
bigcrab的博客
07-26 1214
Ajax 数据爬取，过滤条件是 xhr
python ajax 爬虫_[Python3网络爬虫开发实战] 6.3-Ajax结果提取
weixin_39782832的博客
12-22 81
这里仍然以微博为例，接下来用Python来模拟这些Ajax请求，把我发过的微博爬取下来。1. 分析请求打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面，如图6-11所示。图6-11 详情页面随后再看看其他请求，可以发现，它们的type、value和containerid始终如一。type...
网易教程python_15行Python代码实现网易云热门歌单实例教程
weixin_39949607的博客
11-24 201
0. 引言马上314情人节就要来了，是否需要一首歌来抚慰你，受伤或躁动的心灵。来吧，今天教你用15行代码搞定热门歌单。学起来并听起来吧。本文使用的是Selenium模块，它是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等等操作，对于一些 JavaScript 渲染的页面来说，此种抓取方式非常有效。另外采用了Chrome浏览器配合Selenium工作。下面话不多说了，来一...
Python-QQ音乐爬虫
qq_40529542的博客
12-27 1064
爬虫程序代码 导入的Python库 import requests from urllib.request import * import json import os.path 爬虫程序的执行菜单 def menu(): print("-----------主菜单-----------") print('[1]-&gt;显示音乐信息') print('[2]-...
作品提交python爬虫源码实例
05-01
【Python爬虫源码实例——京东评论爬虫详解】 在Python编程领域，网络爬虫是一项重要的技术，它能帮助我们自动地从互联网上获取大量数据。在这个“python京东评论爬虫”的实例中，我们将深入探讨如何利用Python进行...
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 396
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1037
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
Python知识点：如何使用TensorFlow Lite与Python进行边缘AI计算
码农超哥的博客
10-03 801
本文介绍了如何使用TensorFlow Lite与Python进行边缘AI计算。从模型训练、导出、量化到在边缘设备上运行，我们逐步完成了整个流程。通过TFLite，我们可以将训练好的机器学习模型高效地部署到资源受限的边缘设备上，实现实时、高效的AI应用。希望本文能为你的边缘AI计算项目提供有价值的参考。最后，说一个好消息，如果你正苦于毕业设计，点击下面的卡片call我，赠送定制版的开题报告和任务书，先到先得！过期不候！
酷炫音乐盒: 使用Python和Tkinter配合Pygame打造自己的音乐播放器
宇宙第一小趴菜的博客
09-29 1186
Tkinter是一个功能强大且简单易用的库，适合构建轻量级的GUI应用程序。它在不同的操作系统上具有相同的外观和行为，因此可以实现跨平台的应用程序。当然，Tkinter还有更多的功能和细节，通过阅读官方文档和教程，你可以更深入地了解和学习如何运用Tkinter来创建各种GUI应用程序。
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Mopes__的博客
10-01 349
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Python编写的贪吃蛇小游戏
最新发布
WwLK123的博客
10-03 265
Python编写贪吃蛇小游戏。
合并两个有序数组
Sudo_Wang的学习记录
09-30 413
我们可以使用双指针法从后向前遍历，避免将已经排序的数组打乱。这个方法的核心思路是从。的末尾开始填充较大的元素，因为末尾是用零填充的空闲区域，这样我们可以避免覆盖。这个方法能够高效地解决问题，并且符合进阶要求的 O(m + n) 复杂度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镜花照无眠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值