uniq 命令 – 去除文件中的重复内容行

uniq 命令的功能是用于去除文件中的重复内容行。uniq 命令能够去除掉文件中相邻的重复内容行，如果两端相同内容中间夹杂了其他文本行，则需要先使用 sort 命令进行排序后再去重复，这样保留下来的内容就都是唯一的了。

目录

一、语法格式

二、常用参数

三、命令实战

3.1 对指定文件进行去重操作

3.2 统计相同内容行在文件中重复的次数

3.3 统计相同内容行在文件中重复的次数（忽略大小写）

3.4 仅显示指定文件中存在一摸一样内容行的信息

3.5 仅显示指定文件中没有存在一摸一样内容行的信息

一、语法格式

uniq [参数] 文件

二、常用参数

-c	打印每行在文本中重复出现的次数
-d	每个重复纪录只出现一次
-u	只显示没有重复的纪录

三、命令实战

3.1 对指定文件进行去重操作

 [root@linux1 ~]# cat 1.txt
 linux 1
 linux 1
 linux 1
 centos 2
 centos 2
 centos 2
 ubantu 3
 Ubantu 3
 [root@linux1 ~]# uniq 1.txt
 linux 1
 centos 2
 ubantu 3
 Ubantu 3

3.2 统计相同内容行在文件中重复的次数

 [root@linux1 ~]# uniq -c 1.txt
       3 linux 1
       3 centos 2
       1 ubantu 3
       1 Ubantu 3

3.3 统计相同内容行在文件中重复的次数（忽略大小写）

 [root@linux1 ~]# uniq -ci 1.txt
       3 linux 1
       3 centos 2
       2 ubantu 3

3.4 仅显示指定文件中存在一摸一样内容行的信息

 [root@linux1 ~]# uniq -d 1.txt
 linux 1
 centos 2

3.5 仅显示指定文件中没有存在一摸一样内容行的信息

 [root@linux1 ~]# uniq -u 1.txt
 ubantu 3
 Ubantu 3