“Linux文件的合并、排序和分割” 之 uniq 命令

这个命令非常有用。可以去重 （有效查看log的工具）

功能说明：检查及删除文本文件中重复出现的行列。

语　　法：uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

补充说明：uniq可检查文本文件中重复出现的行列。

参　　数：
  -c或--count   在每列旁边显示该行重复出现的次数。
  -d或--repeated   仅显示重复出现的行列。
  -f<栏位>或--skip-fields=<栏位>   忽略比较指定的栏位。
  -s<字符位置>或--skip-chars=<字符位置>   忽略比较指定的字符。
  -u或--unique   仅显示出一次的行列。
  -w<字符位置>或--check-chars=<字符位置>   指定要比较的字符。
  --help   显示帮助。
  --version   显示版本信息。
  [输入文件]   指定已排序好的文本文件。
  [输出文件]   指定输出的文件。

uniq命令的作用：显示唯一的行，对于那些连续重复的行只显示一次！

　　接下来通过实践实例说明：

　　[root@stu100 ~]# cat test

　　boy took bat home

　　boy took bat home

　　girl took bat home

　　dog brought hat home

　　dog brought hat home

　　dog brought hat home

　　看test文件的内容，可以看到其中的连续重复行

　　[root@stu100 ~]# uniq test

　　boy took bat home

　　girl took bat home

　　dog brought hat home

　　uniq命令不加任何参数，仅显示连续重复的行一次

　　[root@stu100 ~]# uniq -c test

　　2 boy took bat home

　　1 girl took bat home

　　3 dog brought hat home

　　-c 参数显示文件中每行连续出现的次数。

　　[root@stu100 ~]# uniq -d test

　　boy took bat home

　　dog brought hat home

　　-d选项仅显示文件中连续重复出现的行。

　　[root@stu100 ~]# uniq -u test

　　girl took bat home

　　-u选项显示文件中没有连续出现的行。

　　[root@stu100 ~]# uniq -f 2 -s 2 test

　　boy took bat home

　　忽略每行的前2个字段，忽略第二个空白字符和第三个字段的首字符，结果at home

　　[root@stu100 ~]# uniq -f 1 test

　　boy took bat home

　　dog brought hat home

　　忽略每行的第一个字段，这样boy ，girl开头的行看起来是连续重复的行

补充：

注意: uniq所认为的重复行是指连续出现的重复行!
我们看日志的时候,可以先用-s或-f跳过日期,再去掉重复行

 

– n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开(字段从0开始编号)。

+n 前n个字符被忽略，之前的字符被跳过(字符从0开始编号)。

– f n 与- n相同，这里n是字段数。

– s n 与+n相同，这里n是字符数。

实例详解

uniq.txt的原文如下：

[root@umail39 tmp]#cat uniq.txt
this is a test
this is a test
This is a test
i love you
i love you
we are good
this is a pen
i do not know
this is a pen

1.在每行前加上表示相应行目出现次数,但只会检查相邻重复的行。

[root@umail39 tmp]#uniq -c uniq.txt
      2 this is a test
      1 This is a test
      2 i love you
      1 we are good
      1 this is a pen
      1 i do not know
      1 this is a pen

2.，-f 1 忽略了第一列，检查重复从第二字段开始的,检查的时候，不区分大小写.

[root@umail39 tmp]#uniq -f 1 -c uniq.txt
      3 this is a test
      2 i love you
      1 we are good
      1 this is a pen
      1 i do not know
      1 this is a pen

3.检查的时候，不考虑前4个字符

[root@umail39 tmp]#uniq -s 4 -c uniq.txt
      3 this is a test
      2 i love you
      1 we are good
      1 this is a pen
      1 i do not know
      1 this is a pen

4.去重复的项，然后全部显示出来

[root@umail39 tmp]#uniq  -u uniq.txt
This is a test
we are good
this is a pen
i do not know
this is a pen

5.对每行第2个字符以后的内容不作检查

[root@umail39 tmp]#uniq -w 2 -c uniq.txt  
      2 this is a test
      1 This is a test
      2 i love you
      1 we are good
      1 this is a pen
      1 i do not know
      1 this is a pen