Python实现自动清除重复文件

各位小伙伴们好啊！今天，我们来聊一聊一个挺有趣的话题——Python怎样才能帮我们自动清除重复文件呢？别急，说的不是真的删除文件，而是把它们搬到一个目录下，放着呢！让我们一起来用Python快活地整理一下文件吧！

想法分享

懒得整理文件？没关系！让Python来帮你，自动整理重复文件，你就能轻松释放无用文件占据的硬盘空间了！

准备工作

首先，咱得拉上Python这个亲戚，绝对是万金油式的语言！另外我们还需要用到os和hashlib，这俩家伙可是文件整理的得力助手哦！

代码实现

import os
import hashlib
import shutil


def find_duplicate_files(directory):
    hash_table = {}

    duplicates_dir = os.path.join(directory, 'duplicates')  # 存放重复文件的目录
    os.makedirs(duplicates_dir, exist_ok=True)

    for root, dirs, files in os.walk(directory):
        for filename in files:
            file_path = os.path.join(root, filename)
            with open(file_path, 'rb') as f:
                file_hash = hashlib.md5(f.read()).hexdigest()
            if file_hash in hash_table:
                
                shutil.move(file_path, os.path.join(duplicates_dir, filename))
            else:
                hash_table[file_hash] = file_path


# 测试
find_duplicate_files('C:/Users/olive/Desktop/测试重复图片整理')

代码解析

上面这段Python代码虽然只有短短的几行，却包含了搬运文件、哈希计算、字典存储等精彩操作。瞧瞧，Python就像是一个高级的文件整理狮，一切都变得这么简单！

如果您有耐心的话，可以接着看看这段代码的详细解析：

1.import os:导入Python的os模块，用于提供与操作系统进行交互的函数。

2.import hashlib:导入Python的hashlib模块，用于计算文件的哈希值。

3.import shutil:导入Python的shutil模块，用于文件操作，如复制、移动文件等。

4.定义一个名为find_duplicate_files的函数，该函数接收一个名为directory的参数，表示要查找重复文件的目录路径。

5.创建一个空的哈希表hash_table，用于存储文件的哈希值和路径。

6.设置一个目录路径duplicates_dir，用于存放重复文件的目录。如果该目录不存在，则会使用os.makedirs创建该目录。

7.使用os.walk(directory)遍历指定目录及其子目录下的所有文件。

8.对于每个文件，计算其哈希值并存储在file_hash中。

9.检查file_hash是否已经存在于hash_table中，如果存在，则说明是重复文件，将文件移动到duplicates_dir目录下。

10.如果file_hash不存在于hash_table中，则将其哈希值和路径存储在hash_table中，以便后续进行比对。

11.在函数的最后，调用find_duplicate_files('/path/to/your/directory')进行测试，将实际的目录路径作为参数传入，以查找目录下的重复文件并将其移动到duplicates_dir目录。

这段代码利用哈希表的特性来快速判断文件是否重复，并使用shutil模块将重复文件移动到指定目录。

激动人心的测试

跑起来！让Python拿起文件整理的“魔杖”，在你的文件夹中找找有没有相同的文件吧！它会好好帮你把重复的文件搬到一个专门的地方，留存起来，绝不真的删除哦！

首先，准备一个测试的目录，里面放文件或图片都可以，我们就放一些图片吧，注意，现在里面有很多的图片是重复的。

接下来，我们需要在测试代码中给成上面的文件夹的目录地址：

find_duplicate_files('C:/Users/olive/Desktop/测试重复图片整理')

最后，我们运行一下代码，看下结果：

非常棒！重复的文件，全都被转移到该目录下的duplicates文件夹下了。

结语

是不是觉得这个教程有趣极了？Python让我们可以如此轻松地进行文件的整理和管理，多么有趣！希望大家在享受Python的乐趣的同时，也能有一个清爽干净的文件夹吧！😄