python 删除某路径下重复文件，只保留一份

功能说明：给出一个路径，递归遍历所有文件；所有重名的文件，只保留一份，其余都删除。保留的文件目录未做限定。

代码：

import os
import os.path
from collections import Counter
#给出一个路径，递归遍历所有文件；所有重名的文件，只保留一份，其余都删除。保留的文件目录未做限定
rootdir = r"F:"
dict1={}
list1=[]
for parent, dirnames, filenames in os.walk(rootdir):
    for filename in filenames:
        # print("parent folder is:" + parent)
        # print( filename)
        dict1[os.path.join(parent, filename)]=filename
        list1.append(filename)
list2=[ str(k) for k,v in dict(Counter(list1)).items() if v>1]
# print (list2)
todeleteno=0
for l in list2:
    n = 0
    for k,v in dict1.items():
        if l==v:
            if n==0:
                print('不删:{v}-----{k}'.format(v=v, k=k))
            else:
                todeleteno+=1
                print('删除{n}:{v}-----{k}'.format(n=str(todeleteno).zfill(5),v=v, k=k))
                # os.remove(k)
            n+=1
print("删除总数:"+str(todeleteno))

加上注释的代码：

import os
import os.path
from collections import Counter
#windows ,给出一个路径，递归遍历所有文件；所有重名的文件，只保留一份，其余都删除。保留的文件目录未做限定
rootdir = r"D:\testremove"
dict1={} #存放遍历到所有文件的：全路径、文件名称
list1=[] #存放所有获取的文件名称，含重复文件名称
for parent, dirnames, filenames in os.walk(rootdir):
    for filename in filenames:
        dict1[os.path.join(parent, filename)]=filename #key:全路径,value:文件名称
        list1.append(filename)
'''
Counter(list1),返回一个Counter类型：Counter({'1.rar': 11, '1.txt': 11, '1.zip': 11})；
 转换成dict类型后：<class 'dict'>: {'1.rar': 11, '1.txt': 11, '1.zip': 11}
 '''
list2=[str(k) for k,v in dict(Counter(list1)).items() if v>1] #查询统计大于1的名称，存储
todeleteno=0 #统计删除总数
for l in list2: #遍历重名名称列表
    n = 0 #计数，同一个名称内一次计数，计数为0不删除，自增后不为0则删除
    for k,v in dict1.items(): #遍历 全路径、文件名称 字典
        if l==v: #当字典value（文件名称）等于重名列表中字符
            if n==0: #计数为0不删除
                print('不删:{v}-----{k}'.format(v=v, k=k))
            else: #自增后不为0则删除
                todeleteno+=1
                print('删除{n}:{v}-----{k}'.format(n=str(todeleteno).zfill(5),v=v, k=k))
                #慎用删除，没事就注释掉
                # os.remove(k)
            n+=1
print("删除总数:"+str(todeleteno))