删除重复行的命令uniq

uniq有3个最为常用的选项，见如下列表：

选项	命令描述
-c	可在每个输出行之前加上该行重复的次数
-d	仅显示重复的行
-u	显示为重复的行

   [root@xieqichao ~]# cat testfile
    hello
    world
    friend
    hello
    world
    hello

直接删除未经排序的文件，将会发现没有任何行被删除

 [root@xieqichao ~]# uniq testfile  
 hello
 world
 friend
 hello
 world
 hello

排序之后删除了重复行，同时在行首位置输出该行重复的次数

 [root@xieqichao ~]# sort testfile | uniq -c  
 1 friend
 3 hello
 2 world

仅显示存在重复的行，并在行首显示该行重复的次数

 [root@xieqichao ~]# sort testfile | uniq -dc
 3 hello
 2 world

仅显示没有重复的行

 [root@xieqichao ~]# sort testfile | uniq -u
 friend