python 文件去重样例
python remove duplicate files via pathlib and set
当同类型文件分布于不同文件夹时且文件数量过大时(几十W),如何去重简单快捷
2.样例代码
代码如下(示例):
总结
以上就是简单地对于分布在不同文件夹的重复文件去重操作, 利用了set函数的特性以及pathlib库的相关方法。简单测试, 15W文件中去除约5W重复文件耗时约40分钟.......
原创
2022-06-21 11:40:24 ·
280 阅读 ·
0 评论