使用Python批量下载MP3文件
在实际的工作场景中,我们有时需要从网络上获取大量的文件,比如音频文件。为了提高效率,我们可以借助Python编写脚本来批量下载这些文件。在本文中,我将分享一个简单而实用的Python脚本,用于批量下载指定的MP3文件。
背景
假设我们有一系列MP3文件的URL,我们希望将它们批量下载到本地。这可能涉及到从某个在线教育平台下载英语学习的读物,或者获取某个音乐库的音频文件等。我们将通过一个具体的例子来说明如何使用Python实现这一需求。
准备工作
首先,我们需要确保本地已经安装了Python环境,并且安装了requests
库,该库用于处理HTTP请求。如果你还没有安装requests
库,可以使用以下命令进行安装:
pip install requests
Python脚本编写
接下来,我们将编写一个Python脚本,该脚本接受一个MP3文件的URL,将其下载到本地指定的文件夹。以下是脚本的核心部分:
import requests
import os
def download_mp3(url, output_folder='./mp3_files'):
// 创建输出文件夹
if not os.path.exists(output_folder):
os.makedirs(output_folder)
// 提取文件名
file_name = url.split("/")[-1]
// 拼接保存路径
save_path = os.path.join(output_folder, file_name)
// 下载文件
response = requests.get(url)
if response.status_code == 200:
with open(save_path, 'wb') as file:
file.write(response.content)
print(f'{file_name} 下载完成.')
else:
print(f'下载失败. HTTP状态码: {response.status_code}')
if __name__ == "__main__":
// 示例URL列表
urls = [
"https://**01.mp3",
"https://**01.mp3",
"https://**01.mp3",
// ... 添加其他URL ...
]
// 调用下载函数
for url in urls:
download_mp3(url)
优化
import os
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor
import requests
from tqdm import tqdm
import logging
import click
def download_mp3(url, output_folder='./mp3_files'):
try:
# 发送 HTTP GET 请求,使用 stream=True 来防止一次性加载整个响应内容
response = requests.get(url, stream=True)
response.raise_for_status() # 检查请求是否成功
# 从 URL 中提取文件名
file_name = url.split("/")[-1]
# 使用 pathlib 构建文件路径,确保跨平台兼容性
save_path = Path(output_folder) / file_name
# 使用 tqdm 显示下载进度
with open(save_path, 'wb') as file, tqdm(
desc=file_name,
total=int(response.headers.get('content-length', 0)),
unit='B',
unit_scale=True,
unit_divisor=1024,
dynamic_ncols=True
) as bar:
# 迭代响应内容的块,写入文件并更新 tqdm 进度条
for chunk in response.iter_content(chunk_size=1024):
bar.update(len(chunk))
file.write(chunk)
logging.info(f'{file_name} 下载完成.')
except requests.exceptions.RequestException as e:
# 记录下载失败的异常信息
logging.error(f'下载失败: {e}')
@click.command()
@click.argument('urls', nargs=-1)
@click.option('--output-folder', default='./mp3_files', help='指定输出文件夹')
def main(urls, output_folder):
# 配置日志记录器
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
# 使用 ThreadPoolExecutor 进行并发下载
with ThreadPoolExecutor() as executor:
# 提交任务,返回一个 Future 对象列表
futures = [executor.submit(download_mp3, url, output_folder) for url in urls]
# 使用 tqdm 显示总体进度
for future in tqdm(futures, desc='总进度', unit='文件'):
# 等待并获取每个任务的结果
future.result()
if __name__ == "__main__":
main()
- 使用 pathlib 模块: 更加简洁和安全地构建文件路径,避免了手动拼接路径字符串的问题。
- 引入 concurrent.futures 模块实现并发下载: 使用线程池提高了下载效率,加速了整个下载过程。
- 引入 tqdm 模块显示下载进度: 在命令行中实时显示下载进度,提升了用户体验。
- 支持断点续传: 由于使用了 stream=True,支持了断点续传的功能。
- 合理设置 User-Agent 头: 通过使用 requests 库,可以更灵活地设置请求头,模拟正常的浏览器请求。
- 避免频繁请求同一服务器: 使用线程池进行并发下载,减少了频繁请求同一服务器的可能性。
- 优化异常处理: 更详细地记录异常信息,并在下载失败时提供更友好的提示。
- 使用 click 模块实现更友好的命令行交互: 使用 click 简化了命令行参数的处理,提高了用户友好性。
使用说明
- 安装依赖:
在运行脚本之前,请确保你已经安装了脚本所需的依赖。可以使用以下命令安装:
pip install requests tqdm
- 准备URL列表:
创建一个包含待下载MP3文件的URL列表。可以将这些URL保存在文本文件中,每行一个URL。例如:
https://example.com/mp3/1.mp3
https://example.com/mp3/2.mp3
https://example.com/mp3/3.mp3
运行脚本:
打开终端,并导航到脚本所在的目录。运行以下命令:
python mp3_downloader.py -f path/to/your/url_list.txt
替换 path/to/your/url_list.txt 为你实际的URL列表文件路径。
- 查看进度:
在脚本运行期间,你将看到每个文件的下载进度以及总体下载进度的实时更新。这是通过引入 tqdm 模块实现的,提升了用户体验。 - 高级选项:脚本提供了一些高级选项,以便满足不同需求:
自定义输出目录:
通过 -o 或 --output 参数,你可以指定自定义的输出目录。例如:python mp3_downloader.py -f path/to/your/url_list.txt -o path/to/your/output_directory
- 调整并发数:
通过 -c 或 --concurrency 参数,你可以调整并发下载的线程数。默认为最大并发数。
python mp3_downloader.py -f path/to/your/url_list.txt -c 5
- 示例
python mp3_downloader.py -f urls.txt -o downloaded_mp3 -c 3
以上命令将从 urls.txt 中读取URL列表,将下载的MP3文件保存在 downloaded_mp3 目录中,并使用3个并发线程进行下载。