Linux 命令 `uniq`：去重利器

Linux 命令 uniq：去重利器

在 Linux 系统中，处理文本数据是日常任务中不可或缺的一部分。当我们面对大量重复的数据行时，如何高效地去除这些重复项成为了一个值得探讨的话题。这时，uniq 命令就派上了用场。本文将介绍 uniq 命令的基本用法、选项以及一些实用技巧。

uniq 命令简介

uniq 命令用于从排序好的文本文件中去除重复的行，只显示唯一的行。注意，uniq 命令通常与 sort 命令结合使用，因为 uniq 需要输入的数据已经预先排序过。

基本用法

uniq [options] [file ...]

• [options]：命令选项，用于指定不同的行为。
• [file ...]：要处理的文件列表。如果未指定文件，uniq 将从标准输入读取数据。

常用选项

-c 或 --count

在每行前加上该行在文件中出现的次数。

-d 或 --repeated

仅显示重复的行。

-D 或 --all-repeated[=delim]

显示所有重复的行，并在每组重复行之间插入指定的分隔符（默认为空行）。

-f n 或 --skip-fields=n

忽略每行前 n 个字段的比较。字段之间由制表符分隔。

-i 或 --ignore-case

比较时不区分大小写。

-s n 或 --skip-chars=n

忽略每行前 n 个字符的比较。

-u 或 --unique

仅显示唯一的行。

-z, --zero-terminated

以空字符（null）而不是换行符来结束每行。这在处理包含换行符的字段时特别有用。

示例

示例 1：去除重复行

假设我们有一个名为 numbers.txt 的文件，内容如下：

1
2
2
3
4
4
4
5

要去除重复的行，我们可以这样做：

sort numbers.txt | uniq

输出：

1
2
3
4
5

示例 2：显示重复行的次数

使用 -c 选项，我们可以在每行前显示其出现的次数：

sort numbers.txt | uniq -c

输出：

1 1
2 2
1 3
3 4
1 5

示例 3：仅显示重复行

使用 -d 选项，我们可以仅显示重复的行：

sort numbers.txt | uniq -d

输出：

2
4

注意事项

• uniq 命令仅对排序后的数据有效。如果输入数据未排序，则结果可能不正确。
• uniq 命令是基于整行进行比较的。如果只想基于行的某个部分进行比较，可以使用其他工具（如 awk、sed 或 cut）进行预处理。

总结

uniq 命令是一个简单而强大的工具，用于从排序好的文本文件中去除重复的行。通过结合不同的选项，我们可以实现各种复杂的文本处理任务。希望本文能帮助你更好地理解和使用 uniq 命令。