Linux 删除重复文件

最新推荐文章于 2024-06-28 12:56:48 发布

wjmonster

最新推荐文章于 2024-06-28 12:56:48 发布

阅读量384

点赞数

分类专栏： linux

本文链接：https://blog.csdn.net/wjmonster/article/details/103140566

版权

本文介绍了一个在Linux系统中删除重复文件的脚本，通过比较文件大小及校验和来识别并移除副本，保留一个原始文件。首先，按照文件大小排序，然后计算相同大小文件的校验和，当校验和一致时，确认为重复文件并进行删除。

摘要由CSDN通过智能技术生成

删除重复文件的脚本

原理

找出某个目录中同一文件的所有副本，保留单个副本的同时删除其他副本。

一

将文件依据大小排序并列出，相同大小的文件将会排列在一起。
接下来计算这些文件的校验和，如果校验和相同，那么这些文件就是重复文件，会被删除

二

awk的BEGIN{}语句块：读取文件的所有行并初始化变量

脚本内容及注释

#！/bin/bash
#文件名：remove_duplicates.sh
#用途：查找并删除重复文件，每个文件只保留一份
ls -lS --time-style=long-iso | awk 'BEGIN {    #将当前目录下所有文件按大小排序并列出详细信息
# awk读取ls -lS的输出， --time-style=long-iso ：告诉ls按照ISO格式打印日期。
getline;getline;
name1=$8;s