【Python】利用MD5文件去重

【Python】利用MD5文件去重

事情起因 ：我的很多照片之前迁移到了阿里云盘进行备份，但是久而久之上次发现重复了很多，这就让我很是苦恼，手动删除实在太慢了。阿里云盘里面是有清理重复照片功能的，但是却告知我重复数量为0，简直是虚假功能。IOS16里面新增了重复照片清理功能，可是系统还不稳定，就降级15了。

综上原因，不得已写一个吧。

说一下实现，每一个文件及其副本，他们无论文件名是否相同，计算出来的MD5值是相同的。因为文件的MD5是计算的是文件流的，与文件名无关。基于此，再加上HashMap的特性，我们用每一个文件MD5来作为Key，他们的文件名作为Value，那么自然Key重复后也就意味着文件一致。

此处做的重复文件处理是放到了另一个文件夹，以便于后期核实，当然亦可直接删除。

再说一下使用Python的原因。操作系统中本身都支持文件的MD5计算，但是我也懒，Java里面还需要自己实现以下（好像也有直接的工具类），但对我这懒人来说，懒得做。相较而言，Python实现起来，较为简单。

再补充一下中间有一段比较文件名长短的判断，原因是相机本身一般依据时间设置文件名，而其他系统or软件在生成副本时候一般添加"副本"二字或者直接使用一段随机字符串，我们一般称之为UUID，来作为副本文件的文件名。所以对于此处我只需要对比一下长短即可应付多数情况。

步入正题，放代码：

注意：是同一个目录下重复的文件，不支持多个目录。你可以拿去改，对我来说用不到。

import os
import hashlib
import shutil

if __name__ == '__main__':
    # 存放文件的目录地址，不要遗落最后的\\， Linux or Mac需要换分隔符
    source_path = "C:\\Users\\BigBaby\\Documents\\DCIM\\"
    # 设置重复文件存放的目录
    repeat_file_path = "C:\\Users\\BigBaby\\Documents\\repeats\\"
    file_list = os.listdir(source_path)

    files_map = {}
    index = 1
    repeat_num = 0

    for file in file_list:
        print("第【" + str(index) + "】个开始处理 --> " + file)
        index += 1

        with open(source_path + file, 'rb') as file_pointer:
            data = file_pointer.read()
        file_md5 = hashlib.md5(data).hexdigest()
        file_pointer.close()

        if files_map.get(file_md5) is None:
            files_map[file_md5] = file
        else:
            print("发现重复文件: " + file + "  -->  " + files_map[file_md5])
            if len(files_map[file_md5]) < len(file):
                shutil.move(source_path + file, repeat_file_path + file)

            else:
                temp_file = files_map[file_md5]
                files_map[file_md5] = file
                shutil.move(source_path + temp_file, repeat_file_path + temp_file)
            repeat_num += 1

    print("********处理完成********")
    print("重复数量 --> " + str(repeat_num))

效果图：

剩下的照片处理后截图我就不放出来了。

Bye！