shell脚本实现查找文件夹下重复的文件,并提供删除功能

Windows下有软件FindDupFile，可以搜索指定目录及其下子目录，列出所有内容完全相同的文件（文件名可能不同），然后由用户选择删除重复的文件。

然而shell脚本却可以使用几行的命令完成与此相同的工作，借助windows下的shell脚本工具Cygwin，可以实现扫描Windows下的目录，原理简述如下：

1.首先借助find命令扫描文件夹下类型为普通文件的所有文件，find命令的输出是一行一个文件

2.对find找到的所有文件进行MD5校验，校验命令为md5sum files，输出文本格式为：MD5SUM  *file

3.内容的文件的md5校验值是相同的，所有对MD5SUM校验值进行相同值查询，因此使用awk的关联数组，将不相同的文件输出

4.对awk输出重复的文件表进行删除。

shell脚本如下:

#!/bin/bash -

#查找文件夹下相同的文件
#Usage: dupfile.sh [-ds] dirs
#       dirs 请用单引号引起来

del=0
silent=0

trap "" PIPE

#参数处理
while test $# -gt 0
do
	case $1 in
		-d | --delete) 
			del=1
			;;
		-s | --silent)
			silent=1
			;;
		-*)	
			break
			;;
		*)	
			break
			;;
	esac
	shift
done

if [ $# -eq 0 ]
then
	echo "Usage: dupfile.sh [-ds] dirs" >&2
	exit 0
fi

#find查找所有文件并进行MD5校验,
# md5sum对二进制