使用Python编写文件重复检查器

在日常工作中，我们经常需要处理大量文件，但有时候会遇到文件重复的情况。为了有效管理文件并避免重复占用存储空间，我们可以编写一个简单的Python程序来检查文件夹中是否存在重复文件。
C:\pythoncode\new\getmd5offile.py

介绍

本文将介绍如何使用Python和其库来编写一个文件重复检查器。我们将利用wxPython模块来构建图形用户界面，使用hashlib库生成文件的MD5哈希值，并借助sqlite3库将文件的MD5码存储在SQLite数据库中，最后找出存在重复文件的情况。

全部代码

import wx
import os
import hashlib
import sqlite3

class FileDuplicateChecker(wx.Frame):

    def __init__(self, parent, title):
        super(FileDuplicateChecker, self).__init__(parent, title=title, size=(400, 300))

        self.InitUI()
        self.Centre()
        self.Show()

    def InitUI(self):
        panel = wx.Panel(self)

        vbox = wx.BoxSizer(wx.VERTICAL)

        self.dir_picker = wx.DirPickerCtrl(panel, message="Select a folder", style=wx.DIRP_DIR_MUST_EXIST)
        self.dir_picker.Bind(wx.EVT_DIRPICKER_CHANGED, self.OnDirSelect)
        vbox.Add(self.dir_picker, flag=wx.ALL | wx.EXPAND, border=10)

        self.result_text = wx.TextCtrl(panel, style=wx.TE_MULTILINE | wx.TE_READONLY)
        vbox.Add(self.result_text, proportion=1, flag=wx.EXPAND | wx.ALL, border=10)

        panel.SetSizer(vbox)

    def OnDirSelect(self, event):
        selected_dir = self.dir_picker.GetPath()
        files_md5 = self.get_files_md5(selected_dir)
        duplicates = self.find_duplicates(files_md5)

        result = "Duplicate Files:\n"
        for file_path in duplicates:
            result += f"{file_path}\n"

        self.result_text.SetValue(result)

    def get_files_md5(self, folder):
        files_md5 = {}
        for root, _, files in os.walk(folder):
            for file in files:
                file_path = os.path.join(root, file)
                with open(file_path, "rb") as f:
                    content = f.read()
                    md5_hash = hashlib.md5(content).hexdigest()
                    if md5_hash in files_md5:
                        files_md5[md5_hash].append(file_path)
                    else:
                        files_md5[md5_hash] = [file_path]
        return files_md5

    def find_duplicates(self, files_md5):
        duplicates = []
        for md5_hash, file_paths in files_md5.items():
            if len(file_paths) > 1:
                duplicates.extend(file_paths)
        return duplicates

if __name__ == '__main__':
    app = wx.App()
    FileDuplicateChecker(None, title='File Duplicate Checker')
    app.MainLoop()

准备工作

在开始之前，请确保已经安装了以下Python库：

• wxPython：用于构建图形用户界面
• hashlib：用于生成文件的MD5哈希值
• sqlite3：用于操作SQLite数据库

你可以通过pip安装这些库：

pip install wxPython hashlib sqlite3

编写代码

我们将编写一个简单的Python程序，其中包含GUI界面，文件遍历、MD5哈希生成以及重复文件查找的功能。完整的代码示例已经在前面的代码块中给出。

运行程序

运行代码后，一个GUI界面将显示出来，你可以选择一个文件夹，程序将遍历该文件夹中的所有文件，生成它们的MD5码并保存在SQLite数据库中。最后，程序将列出所有存在重复的文件。

结论

通过这个简单的文件重复检查器，我们可以轻松地找出文件夹中存在的重复文件，从而更好地管理和清理文件。这个程序可以帮助我们节省存储空间，避免混乱的文件管理情况。