Linux 查看磁盘重复文件

一般情况下

1. 使用 fdupes 工具

fdupes 是一个专门用于查找重复文件的工具。

安装:

sudo apt-get install fdupes

使用:

fdupes -r /path/to/directory

-r 选项会递归查找子目录中的重复文件。

2. 使用 rmlint 工具

rmlint 是另一个强大的重复文件查找工具，并且可以生成删除脚本来帮助清理重复文件。

安装:

sudo apt-get install rmlint

使用:

rmlint /path/to/directory

默认情况下，rmlint 会输出报告，但你可以使用 -o 选项来生成删除脚本。

3. 使用 find 和 md5sum 命令组合

如果你喜欢使用命令行，你可以通过结合 find 和 md5sum 命令来查找重复文件。

示例:

find /path/to/directory -type f -exec md5sum {} + | sort | uniq -d --check-chars=32

这个命令会计算所有文件的 MD5 校验和，并找出重复的校验和。

4. 使用图形界面的工具

如果你更喜欢图形用户界面，可以使用工具如 BleachBit 或 dupeGuru 来查找重复文件。

安装 dupeGuru:

sudo add-apt-repository ppa:dupeguru/ppa sudo apt-get update sudo apt-get install dupeguru

启动 dupeGuru: 在应用菜单中找到 dupeGuru 并启动它，按照向导选择目录来扫描重复文件。

多线程处理

如果你希望使用多线程来加速查找重复文件的过程，可以考虑以下工具和命令：

1. rmlint

rmlint 支持多线程。它会自动检测并使用系统的 CPU 核心来加速文件扫描过程。

示例:

rmlint -c sh /path/to/directory

这里的 -c sh 选项会生成一个 shell 脚本以清理重复文件。rmlint 默认会使用多线程来提高性能。

2. fdupes

fdupes 本身不直接支持多线程，但可以通过其他工具来加速。例如，可以将目录分割成多个部分，然后并行运行多个 fdupes 实例：

find /path/to/directory -type d | xargs -I{} -P 4 fdupes -r {}

这里，-P 4 选项指定使用 4 个并行进程来运行 fdupes。

3. find 和 md5sum

你可以使用 GNU Parallel 来并行处理 find 和 md5sum，从而利用多线程来加速查找：

安装 GNU Parallel:

sudo apt-get install parallel

示例:

find /path/to/directory -type f | parallel -j 4 md5sum {} | sort | uniq -d --check-chars=32

这里的 -j 4 选项表示使用 4 个并行线程。