Python通过图片文件内容的HashCode对比来删除相同图片

最新推荐文章于 2024-09-10 11:31:34 发布

王小鹏鹏

最新推荐文章于 2024-09-10 11:31:34 发布

阅读量1.3k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/kingroc/article/details/90378128

版权

本文介绍了一种通过Python比较图片文件内容的HashCode来删除重复图片的方法。首先展示了一个简单的网页预览过程，然后执行删除操作。

摘要由CSDN通过智能技术生成

《深度学习-如何提高数据集质量》

这次是通过图片文件内容的对比来删除相同的图片，为了有一个对比的方式，我先生成了网页，在网页中进行一个浏览，然后再打开删除语句，进行删除。效果如下：
在这里插入图片描述
就是这样网页效果比较粗糙，但能产生需要的效果。浏览完了就可以打开删除语句了。
代码如下：

import os
import hashlib

DirList = [
     '/home/king/PycharmProjects/nsfw_data_scrapper/raw_data/drawings',
    '/home/king/PycharmProjects/nsfw_data_scrapper/raw_data/hentai',
    '/home/king/PycharmProjects/nsfw_data_scrapper/raw_data/neutral',
    '/home/king/PycharmProjects/nsfw_data_scrapper/raw_data/porn',
    '/home/king/PycharmProjects/nsfw_data_scrapper/raw_data/sexy'
]

def getMD5(file, readLen = 1024*20):
    md5code = hashlib.md5()
    with open(file, 'rb') as f:
        data = f.read()

        # *******