python十行代码实现文件去重，去除重复文件的脚本(1)

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

‘’’

filecmp.cmp(path1, path2, shallow=True)

path1/path2：待比较的两个文件路径。

shallow ：默认为True，即只比较os.stat()获取的元数据(创建时间，大小等信息)是否相同，

设置为False的话，在对比文件的时候还要比较文件内容。

‘’’

提取待去重文件路径

初始化文件路径列表

path_files_list = []

遍历

for path in Path(r’/usr/load/data’).iterdir():

校验是否为文件

if path.is_file():

加入到待去重文件列表

path_files_list.append(path)

遍历待去重文件

for file_index in range(len(path_files_list) - 1):

遍历，两辆比对

for later in range(file_index + 1, len(path_files_list)):

校验内容是否相同

if filecmp.cmp(path_files_list[file_index],

path_files_list[later], shallow=False):

内容相同、则删除

path_files_list[file_index].unlink()

break

【粉丝福利】关注公众号，获取全套视频资料，喜欢小编点个 ‘关注’ 吧！

【往期精选】

● python的GUI框架tkinter，实现程序员的流氓式表白逻辑

● 探究python函数的不定长参数_args与*_kwargs

● 没有深思过的python冷知识你知道几个？

● python图片处理，自动生成gif动态图片

● python-redis 的操作手法，相当简单的redis数据存储方式！

● python 日期、时间处理，各种日期时间格式/字符串之间的相互转换究竟是怎样的？

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！