python文件去重优化_Python之文件自动去重

这篇帖子我最先发表在CSDN上，链接 https://blog.csdn.net/zlllg/article/details/82155541

小撸了把Python，这个果然是世界上最好用的语言

平日里一来无聊，二来手巧，果然下载了好多无(luan)比(qi)珍(ba)贵(zao)的资料，搞得我小小的硬盘(已经扩到6T了)捉襟见肘，

有次无意间，发现有两个居然长得一毛一样，在房子这么小的情况下，我怎能忍两个一毛一样的东西不要脸皮的躺在我的硬盘里，果断搞掉一个，整理一下，本来想文件名一样的就保留一份，但问题出现了，居然有名字一样，内容却完全不一样的文件，想我背朝黄土面朝天吹着空调吃着西瓜下载下来的东西，删除是不可能的，这辈子都是不可能删除的。可是我也又不能把这数以亿计的文件挨个打开看看里面一样不一样吧，这个工程我大概够我做了好久好久了，有没有办法搞个软件帮帮我呢，答案是肯定的，要不然我也不用在这里写这个博客了(应该是苦逼的一个一个打开比较吧)，说正题，Python提供了一个比较文件内容的东西，那就是。。。。。。。。。。哈希算法

MD5消息摘要算法(英语：MD5 Message-Digest Algorithm)，一种被广泛使用的密码散列函数，可以产生出一个128位(16字节)的散列值(hash value)，用于确保信息传输完整一致。MD5由美国密码学家罗纳德·李维斯特(Ronald Linn Rivest)设计，于1992年公开，用以取代MD4算法。

说了这么长，总结出来就一句，这玩意就是文件的指纹，几乎每个文件是唯一的(碰到重复的，恭喜你，可以去买彩票了)，那我们就把这个指纹拿出来，一个一个比对，肯定不能会有漏网的文件，既不会错杀三千，也不使一文件漏网，原理上通了，那么我们就要去搞个代码来帮我完成这个工作，作为最好用的语言，Python就这样被我翻了牌子

代码如下

# -*- coding:utf-8 -*-

import os

import hashlib

import time

import sys

#搞到文件的MD5

def get_ms5(filename):

m = hashlib.md5()

mfile = open(filename , "rb")

m.update(mfile.read())

mfile.close()

md5_value = m.hexdigest()

return md5_value

#搞到文件的列表

def get_urllist():

base = ("D:\\lwj\\spider\\pic\\")#这里就是你要清缴的文件们了

list = os.listdir(base)

urllist = []

for i in list:

url = base + i

urllist.append(url)

return urllist

#主函数

if __name__ == '__main__':

md5list = []

urllist = get_urllist()

print("test1")

for a in urllist:

md5 = get_ms5(a)

if(md5 in md5list):

os.remove(a)

print("重复：%s" % a)

else:

md5list.append(md5)

print("一共%s张照片" % len(md5list))

效果

这战斗力杠杠的，啥叫科技改变生活，此之谓也