遍历获取给定文件夹下的所有文件,然后通过嵌套循环两两比较文件是否相同,如果相同则删除后者。
实现问题的关键就变成了:
如何判断两个文件是否相同?
在这里我们可以使用 filecmp
模块,来看看官方的介绍文档:
filecmp.cmp(f1, f2, shallow=True)
- 比较名为 f1 和 f2 的文件,如果它们似乎相等则返回 True,否则返回 False
- 如果
shallow
为真,那么具有相同os.stat()
签名的文件将会被认为是相等的;否则,将比较文件的内容。
所以可以这样使用:
假设x和y两个文件是相同的
print(filecmp.cmp(x, y))
True
解决了这个问题,我们就可以开始写代码了!
Python 实现
导入需要的库并设置目标文件夹路径
import os
import glob
import filecmp
dir_path = r’C:\xxxx’
接着遍历获取所有文件的绝对路径,我们可以利用 glob 模块的通配符结合 recursive 参数即可完成,代码如下:
for file in glob.glob(path + ‘/**/*’, recursive=True):
pass
由于遍历获取每一个文件或者文件夹后,需要判断是否是文件,如果是文件则可能将绝对路径存放到列表中
这里需要再完成两个事情:
1、首先创建一个空列表,后面用 list.append(i) 添加文件路径 接着利用 os.path.isfile(i) 判断是否是文件,返回
2、True 则执行添加元素的操作
具体代码如下:
file_lst = []
for i in glob.glob(dir_path + ‘/**/*’, recursive=True):
if os.path.isfile(i):
file_lst.append(i)
上一步我们获取了目标文件夹下的所有文件路径,接下来就可以嵌套遍历这个路径列表,其中 filecmp.cmp 进行文件判断,os.remove 进行文件删除
for x in file_lst:
for y in file_lst:
if x != y:
if filecmp.cmp(x, y):
os.remove(y)
这里的代码已经实现了大致逻辑,但有一个细节需要考虑到:有可能循环到文件已经被前面的判断删除了,导致 os.remove(file) 由于文件不存在而报错
因此,可以用 os.path.exists 对文件存在进行判断,如下所示:
for x in file_lst:
for y in file_lst:
if x != y and os.path.exists(x) and os.path.exists(y):
if filecmp.cmp(x, y):
os.remove(y)
这样,一个简易的文件去重小程序就完成了
完整代码如下:
import os
import glob
import filecmp
dir_path = r’C:\xxxx’
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
https://i-blog.csdnimg.cn/blog_migrate/98c5857428d568b2753fcc95f0b326ed.png)
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
[外链图片转存中…(img-4z2hgPED-1712891345407)]