linux 命令：uniq 详解

uniq 命令的功能是对连续重复行进行一些操作，经常与 sort 命令配合使用，关于 sort 命令的使用方法，可以参考我写的：linux 命令：sort 详解_yspg_217的博客-CSDN博客

用法：uniq [OPTION]... [INPUT [OUTPUT]]

选项：

-c, --count        打印每行出现的次数

-d, --repeated        只打印重复出现的行

-D                        打印所有重复行

--all-repeated[=METHOD]

                        类似 -D，使用空行分隔每个组，METHOD=none,prepend,separate

-f, --skip-fields=N        不比较前 N 个字段

--group[=METHOD]

                        使用空行分隔每个组，METHOD=separate,prepend,append,both

-i, --ignore-case        忽略大小写

-s, --skip-chars=N        不比较前 N 个字符

-u, --unique                只打印出现一次的行

-z, --zero-terminated        行分隔符是 NUL 而不是换行符

-w, --check-chars=N        比较不多于 N 个字符

--help                                帮助文档

--version                           版本信息

使用示例：

使用下边的文本文件做例子：

[root@server dir]# cat uniq_test
Happy Birthday
Happy Birthday
Merry Christmas
Merry Christmas
Merry Christmas
Happy Valentine's Day
Happy Valentine's Day
Happy Birthday

 先执行默认命令：

[root@server dir]# uniq uniq_test
Happy Birthday
Merry Christmas
Happy Valentine's Day
Happy Birthday

打印结果中的第1行和第4行是一样的，为什么呢？原因是 uniq 的功能是对于连续重复行只显示一次，但是最后一行并不是连续的，所以没有做处理，还是打印出来了。怎么不打印它呢？可以与 sort 命令配合使用：

[root@server dir]# sort uniq_test | uniq
Happy Birthday
Happy Valentine's Day
Merry Christmas

使用 -c 选项进行统计：

[root@server dir]# sort uniq_test | uniq -c
      3 Happy Birthday
      2 Happy Valentine's Day
      3 Merry Christmas

 --all-repeated 的使用效果：

[root@server dir]# sort uniq_test | uniq --all-repeated
Happy Birthday
Happy Birthday
Happy Birthday
Happy Valentine's Day
Happy Valentine's Day
Merry Christmas
Merry Christmas
Merry Christmas
[root@server dir]# sort uniq_test | uniq --all-repeated=prepend

Happy Birthday
Happy Birthday
Happy Birthday

Happy Valentine's Day
Happy Valentine's Day

Merry Christmas
Merry Christmas
Merry Christmas
[root@server dir]# sort uniq_test | uniq --all-repeated=separate
Happy Birthday
Happy Birthday
Happy Birthday

Happy Valentine's Day
Happy Valentine's Day

Merry Christmas
Merry Christmas
Merry Christmas

接下来把测试文件改为下边的形式：

[root@server dir]# cat uniq_test
Happy Birthday
Happy Birthday
Merry Christmas
Merry ChrIstmas
Merry Christmas
Happy Christmas
Happy Valentine's Day
Happy Valentine's Day
Happy Birthday

使用 -f 选项，在过滤重复行时不比较某些字段：

[root@server dir]# uniq -f 1 uniq_test
Happy Birthday
Merry Christmas
Merry ChrIstmas
Merry Christmas
Happy Valentine's Day
Happy Birthday

可以看到，文件里的 "Happy Christmas" 没有打印，因为在不比较第一个字段的情况下，"Happy Christmas" 和 "Merry Christmas" 是相同的。

下边看一下 -i 选项，功能是忽略大小写：

[root@server dir]# uniq -i uniq_test
Happy Birthday
Merry Christmas
Happy Christmas
Happy Valentine's Day
Happy Birthday

可以看到，"Merry ChrIstmas" 没有打印。

下边看一下 -u 选项，只打印出现一次的行：

[root@server dir]# uniq -u uniq_test
Merry Christmas
Merry ChrIstmas
Merry Christmas
Happy Christmas
Happy Birthday

最后是两种关于字符比较的选项，-s 是比较 N 个字符后的内容，-w 是比较前 N 个字符的内容：

# 比较第5个字符之后的内容
[root@server dir]# uniq -s5 uniq_test
Happy Birthday
Merry Christmas
Merry ChrIstmas
Merry Christmas
Happy Valentine's Day
Happy Birthday

# 比较前5个字符
[root@server dir]# uniq -w5 uniq_test
Happy Birthday
Merry Christmas
Happy Christmas