【批量下载MP3文件】

使用Python批量下载MP3文件

在实际的工作场景中，我们有时需要从网络上获取大量的文件，比如音频文件。为了提高效率，我们可以借助Python编写脚本来批量下载这些文件。在本文中，我将分享一个简单而实用的Python脚本，用于批量下载指定的MP3文件。

背景

假设我们有一系列MP3文件的URL，我们希望将它们批量下载到本地。这可能涉及到从某个在线教育平台下载英语学习的读物，或者获取某个音乐库的音频文件等。我们将通过一个具体的例子来说明如何使用Python实现这一需求。

准备工作

首先，我们需要确保本地已经安装了Python环境，并且安装了requests库，该库用于处理HTTP请求。如果你还没有安装requests库，可以使用以下命令进行安装：

pip install requests

Python脚本编写

接下来，我们将编写一个Python脚本，该脚本接受一个MP3文件的URL，将其下载到本地指定的文件夹。以下是脚本的核心部分：

import requests
import os

def download_mp3(url, output_folder='./mp3_files'):
    // 创建输出文件夹
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)

    // 提取文件名
    file_name = url.split("/")[-1]

    // 拼接保存路径
    save_path = os.path.join(output_folder, file_name)

    // 下载文件
    response = requests.get(url)
    if response.status_code == 200:
        with open(save_path, 'wb') as file:
            file.write(response.content)
        print(f'{file_name} 下载完成.')
    else:
        print(f'下载失败. HTTP状态码: {response.status_code}')

if __name__ == "__main__":
    // 示例URL列表
    urls = [
        "https://**01.mp3",
        "https://**01.mp3",
        "https://**01.mp3",
        // ... 添加其他URL ...
    ]

    // 调用下载函数
    for url in urls:
        download_mp3(url)

优化

import os
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor
import requests
from tqdm import tqdm
import logging
import click

def download_mp3(url, output_folder='./mp3_files'):
    try:
        # 发送 HTTP GET 请求，使用 stream=True 来防止一次性加载整个响应内容
        response = requests.get(url, stream=True)
        response.raise_for_status()  # 检查请求是否成功

        # 从 URL 中提取文件名
        file_name = url.split("/")[-1]

        # 使用 pathlib 构建文件路径，确保跨平台兼容性
        save_path = Path(output_folder) / file_name

        # 使用 tqdm 显示下载进度
        with open(save_path, 'wb') as file, tqdm(
                desc=file_name,
                total=int(response.headers.get('content-length', 0)),
                unit='B',
                unit_scale=True,
                unit_divisor=1024,
                dynamic_ncols=True
        ) as bar:
            # 迭代响应内容的块，写入文件并更新 tqdm 进度条
            for chunk in response.iter_content(chunk_size=1024):
                bar.update(len(chunk))
                file.write(chunk)

        logging.info(f'{file_name} 下载完成.')
    except requests.exceptions.RequestException as e:
        # 记录下载失败的异常信息
        logging.error(f'下载失败: {e}')

@click.command()
@click.argument('urls', nargs=-1)
@click.option('--output-folder', default='./mp3_files', help='指定输出文件夹')
def main(urls, output_folder):
    # 配置日志记录器
    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

    # 使用 ThreadPoolExecutor 进行并发下载
    with ThreadPoolExecutor() as executor:
        # 提交任务，返回一个 Future 对象列表
        futures = [executor.submit(download_mp3, url, output_folder) for url in urls]

        # 使用 tqdm 显示总体进度
        for future in tqdm(futures, desc='总进度', unit='文件'):
            # 等待并获取每个任务的结果
            future.result()

if __name__ == "__main__":
    main()

• 使用 pathlib 模块： 更加简洁和安全地构建文件路径，避免了手动拼接路径字符串的问题。
• 引入 concurrent.futures 模块实现并发下载： 使用线程池提高了下载效率，加速了整个下载过程。
• 引入 tqdm 模块显示下载进度： 在命令行中实时显示下载进度，提升了用户体验。
• 支持断点续传： 由于使用了 stream=True，支持了断点续传的功能。
• 合理设置 User-Agent 头： 通过使用 requests 库，可以更灵活地设置请求头，模拟正常的浏览器请求。
• 避免频繁请求同一服务器： 使用线程池进行并发下载，减少了频繁请求同一服务器的可能性。
• 优化异常处理： 更详细地记录异常信息，并在下载失败时提供更友好的提示。
• 使用 click 模块实现更友好的命令行交互： 使用 click 简化了命令行参数的处理，提高了用户友好性。

使用说明

• 安装依赖：

在运行脚本之前，请确保你已经安装了脚本所需的依赖。可以使用以下命令安装：

pip install requests tqdm

• 准备URL列表：

创建一个包含待下载MP3文件的URL列表。可以将这些URL保存在文本文件中，每行一个URL。例如：

https://example.com/mp3/1.mp3
https://example.com/mp3/2.mp3
https://example.com/mp3/3.mp3

运行脚本：

打开终端，并导航到脚本所在的目录。运行以下命令：

python mp3_downloader.py -f path/to/your/url_list.txt

替换 path/to/your/url_list.txt 为你实际的URL列表文件路径。

• 查看进度：
  在脚本运行期间，你将看到每个文件的下载进度以及总体下载进度的实时更新。这是通过引入 tqdm 模块实现的，提升了用户体验。
• 高级选项:脚本提供了一些高级选项，以便满足不同需求：
  自定义输出目录：
  通过 -o 或 --output 参数，你可以指定自定义的输出目录。例如：python mp3_downloader.py -f path/to/your/url_list.txt -o path/to/your/output_directory
• 调整并发数：
  通过 -c 或 --concurrency 参数，你可以调整并发下载的线程数。默认为最大并发数。

python mp3_downloader.py -f path/to/your/url_list.txt -c 5

• 示例

python mp3_downloader.py -f urls.txt -o downloaded_mp3 -c 3

以上命令将从 urls.txt 中读取URL列表，将下载的MP3文件保存在 downloaded_mp3 目录中，并使用3个并发线程进行下载。