利用 Python 实现多线程高效删除大规模文件

sand&wich

于 2024-09-11 16:56:49 发布

阅读量752

点赞数 14

文章标签：开发语言 python

本文链接：https://blog.csdn.net/m0_67947599/article/details/142144009

版权

在日常的工作中，我们常常会遇到需要批量删除大量文件的情况，特别是处理一些临时数据或者日志文件时，手动删除非常耗时。因此，我决定利用 Python 编写一个多线程的工具，用于高效地遍历目录并删除大量文件。今天，我将向大家分享这一工具的代码实现，并讲解每一步的核心逻辑和优化点。

工具和库

该项目使用 Python 内置的库 `os`、`shutil` 和 `concurrent.futures` 来实现文件和目录的遍历、删除以及多线程并发执行。

- `os`：用于检查文件和文件夹、遍历目录结构。
- `shutil`：用于递归删除文件夹。
- `concurrent.futures.ThreadPoolExecutor`：用于多线程处理删除任务。

代码实现

import os
import shutil
from concurrent.futures import ThreadPoolExecutor, as_completed

def delete_file(file_path):
    """删除单个文件或目录"""
    try:
        if os.path.exists(file_path):
            if os.path.isdir(file_path):
                shutil.rmtree(file_path)
            else:
                os.remove(file_path)
        print(f"Deleted: {file_path}")
    except Exception as e:
        print(f"Error deleting {file_path}: {e}")

def gather_files_in_directory(directory):
    """遍历指定目录并收集所有文件的路径"""
    file_paths = []
    for root, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(root, file)
            file_paths.append(file_path)
    return file_paths

def delete_all_files(file_paths):
    """多线程删除所有文件，并处理异常情况"""
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = [executor.submit(delete_file, file_path) for file_path in file_paths]
        for future in as_completed(futures):
            try:
                future.result()  # 获取删除任务的结果
            except Exception as e:
                print(f"Exception occurred during file deletion: {e}")

def delete_empty_directory(dir_path):
    """删除单个空文件夹"""
    try:
        os.rmdir(dir_path)
        print(f"Deleted empty directory: {dir_path}")
    except OSError as e:
        # 忽略非空文件夹
        print(f"Directory not empty: {dir_path} - {e}")

def delete_empty_directories(directory):
    """多线程递归删除空文件夹"""
    dirs_to_delete = []

    # 先收集所有要删除的文件夹路径
    for root, dirs, files in os.walk(directory, topdown=False):
        for dir in dirs:
            dir_path = os.path.join(root, dir)
            dirs_to_delete.append(dir_path)

    # 多线程删除空文件夹
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = [executor.submit(delete_empty_directory, dir_path) for dir_path in dirs_to_delete]
        for future in as_completed(futures):
            try:
                future.result()  # 获取删除任务的结果
            except Exception as e:
                print(f"Exception occurred during directory deletion: {e}")

def main():
    src_base_dir = '/path/to/your/directory'  # 替换为实际的路径

    # 遍历src_base_dir下的一级子文件夹
    for sub_dir in os.listdir(src_base_dir):
        sub_dir_path = os.path.join(src_base_dir, sub_dir)
        if os.path.isdir(sub_dir_path):
            print(f"Processing directory: {sub_dir_path}")
            
            # 收集并删除子文件夹中的所有文件
            file_paths = gather_files_in_directory(sub_dir_path)
            print(f"Found {len(file_paths)} files to delete in {sub_dir_path}")
            
            delete_all_files(file_paths)
            print(f"Completed file deletion in {sub_dir_path}")

            # 删除所有文件后，递归删除空文件夹
            delete_empty_directories(sub_dir_path)
            print(f"Completed empty directory deletion in {sub_dir_path}")
    
    print("All done")

if __name__ == "__main__":
    main()