linux排列去重复的命令,linux uniq命令（去除排序以后的重复）

uniq命令可以去除排序过的文件中的重复行，因此uniq经常和sort合用。也就是说，为了使uniq起作用，所有的重复行必须是相邻的。

语法：uniq [-cdu][-f][-s][-w][--help][--version][输入文件][输出文件]

补充说明：uniq可检查文本文件中重复出现的行列。

参数：

-c或--count   在每列旁边显示该行重复出现的次数。

-d或--repeated   仅显示重复出现的行列。

-f或--skip-fields=   忽略比较指定的栏位。

-s或--skip-chars=   忽略比较指定的字符。

-u或--unique   仅显示出一次的行列。

-w或--check-chars=   指定要比较的字符。

--help   显示帮助。

--version   显示版本信息。

[输入文件]   指定已排序好的文本文件。

[输出文件]   指定输出的文件。 uniq命令的作用：显示唯一的行，对于那些连续重复的行只显示一次！

[root@auc-test2 11]# cat abc.txt |uniq

a

b

c

b

dd

d

c

[root@auc-test2 11]# sort abc.txt

a

b

b

c

c

d

dd

[root@auc-test2 11]# sort abc.txt | uniq

a

b

c

d

dd