用Python寻找相同文件

我在采集图片样本的时候,发现很多图片都是重复的,所以就想着写一个查重的Python脚本。

import os
import hashlib
def checkmd5(path):
    f=open(path,'rb')
    content=f.read()
    M=hashlib.md5()
    M.update(content)
    return M.hexdigest()
folder=input("请输入文件夹名字:")
md5Lib={}
md5toName={}
for root,dirs,files in os.walk(folder):
    for file in files:
        filename=os.path.join(root,file)
        tempMD5 = checkmd5(filename)
        if not tempMD5 in md5Lib.values():
            md5toName[tempMD5]=filename
            md5Lib[filename]=tempMD5
        else:
            print(filename,'和',md5toName[tempMD5],'重复了')




  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值