Linux之uniq命令详解

注： 部分概念介绍来源于网络

uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。
uniq 可检查文本文件中重复出现的行列。

语法
uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

参数：
-c 或 --count 在每列旁边显示该行重复出现的次数。
-d 或 --repeated 仅显示重复出现的行列。
-u 或 --unique 仅显示出现一次的行列。
-f<栏位> 或 --skip-fields=<栏位> 忽略比较指定的栏位。
-s<字符位置> 或 --skip-chars=<字符位置> 忽略比较指定的字符。
-w<字符位置> 或 --check-chars=<字符位置> 指定要比较的字符。
--help 显示帮助。
--version 显示版本信息。
[输入文件] 指定已排序好的文本文件。如果不指定此项，则从标准读取数据；
[输出文件] 指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）。

#排序后删除重复行
cat test.txt |sort |uniq 
#排序之后删除重复行，同时在行首位置输出重复行的次数
cat test.txt |sort |uniq -c
#仅显示存在重复的行，并在行首显示该行重复的次数
cat test.txt |sort |uniq -dc
#仅显示不重复的行
cat test.txt |sort|uniq -u