Shell查找并删除重复文件(仅留一份)

删除文件中文件大小一样内容一致的文件，仅仅保留其中一个

#!/bin/bash
# -lS 对当前目录下的所有文件按照文件大小进行排序并列出文件的详细信息
# --time-style=long-iso 告诉ls依照ISO格式打印日期
ls -lS --time-style=long-iso | awk 'BEGIN {
    # getline 读取该行，然后丢弃
    getline; getline; # 读取两行
    name1=$8; size=$5
}
{
    name2=$8
    if (size==$5) # 先比较第一步文件的大小 
    {# 进一步用md5sum校验
        "md5sum "name1 | getline; csum1=$1;   # 在awk内部可以读取外部命令的输出 'cmd' | getline;   csum1保存校验值
        "md5sum "name2 | getline; csum2=$1;
        if( csum1==csum2 ){
            print name1; print name2
        }

    };
    size=$5; name1=name2; 
}' | sort -u > duplicate_files # 唯一文件名排序

# 计算重复文件的md5sum >> 排序 比较前 32 位 >> 打印文件名 >> 排序输入到unique_flies（要保留的文件集合）
cat duplicate_files | xargs -I {} md5sum {} |\
sort | unique -w 32 | awk '{ print $2 }' |\
sort -u > unique_flies

# 文件做交集 >> tee可以将输出发送到stdout(xargs rm 里)和另个文件中， 导到 /dev/stderr  实现打印
comm duplicate_files unique_files -3 | tee /dev/stderr | \
    xargs rm
echo Removed duplicates files successfully