利用Linux查找重复文件

方法一：使用Find命令

本部分算是对find强大功能的扩展使用方法说明。在find的基础上，我们可与（如xargs命令）等其它基本Linux命令相结合，即能创造出无限的命令行功能，比如：可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的，只要查找遍历出所有文件，再通过命令去比较每个文件的MD5就OK啦。

听起来好像比较抽象，其实命令就一条：

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate

• find -not -empty -type f -printf “%sn” 表示使用find命令搜索出所有非空文件，再打印出他们的大小

• sort -rn 命令不用多说了把，这条命令就是按文件大小进行反向排序

• uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 表示只打印了重复的行，这里使用代表打印出文件名相同的文件

• uniq -w32 –all-repeated=separate 最后这里表示对MD5的前32个字节进行对比，以筛选出重复文件 使用命令行的整个过程就是这么简单和容易。

方法二：使用dupeGuru工具

DupeGuru是一个跨平台应用，有