批量图片去重，python脚本

笨小蛙

已于 2024-05-28 16:35:35 修改

阅读量359

点赞数 6

文章标签： python 哈希算法开发语言

于 2024-05-24 14:21:13 首次发布

本文链接：https://blog.csdn.net/GREEN_cq/article/details/139173845

版权

# 修改一下第34行需要去重的文件夹路径以及13行图片后缀名即可使用
import os
from hashlib import md5


def remove_duplicate_images(folder_path):
    image_files = []
    duplicate_images = set()

    # 遍历文件夹，找到所有 JPG 图片文件
    for root, dirs, files in os.walk(folder_path):
        for file in files:
            if file.lower().endswith('.jpg'):
                image_files.append(os.path.join(root, file))

    # 遍历所有图片文件，并使用哈希值比较是否完全相同
    for image_file in image_files:
        with open(image_file, 'rb') as f:
            image_data = f.read()
            image_hash = md5(image_data).hexdigest()

            if image_hash in duplicate_images:
                f.close()
                # 如果哈希值存在于重复图片集合中，则删除图片文件
                print(os.path.basename(image_file))
                os.remove(image_file)
            else:
                # 否则将哈希值添加到重复图片集合中
                duplicate_images.add(image_hash)
                f.close()


# 文件夹路径
folder_path_ = 'C:/Users\lzy06\Desktop\zhangxq\data/2024_05_23_computerroom\workroom'

# 调用函数删除重复图片
remove_duplicate_images(folder_path_)