linux去除文件中重复行,2.25 uniq（检查及删除文本文件中重复出现的行列）

2.25 uniq(检查及删除文本文件中重复出现的行列)

(1)频度等级：☆

(2)功能说明：

uniq 命令用于检查及删除文本文件中重复出现的行列。

(3)语法：uniq [-cdu][-f][-s][-w] [--help][--version][输入文件][输出文件]

(4)所属包：coreutils

(5)相关命令：sort

(6)使用技巧：

uniq 命令必须应用到有序的文件才能达到预期的效果，所以在使用该命令之前，需要对

文件进行排序。

(7)参数：

uniq 主要参数如表2-25 所示。

表2-25 uniq参数表

(8)补充说明：

uniq 可检查文本文件中重复出现的行列，但是如果不加参数则会删除重复的行。

(9)典型实例：

例 1：以默认的方式检查文件并删除文件中重复出现的行。例如，文件testfile中第2 行、第5 行、第9 行为相同的行，使用uniq 命令删除重复的行，可使用以下命令：uniq testfile

testfile中的原有内容为：cmd@hdd-desktop:~$ cat testfile #原有内容

test 30

test 30

test 30

Hello 95

Hello 95

Hello 95

Hello 95

Linux 85

Linux 85

使用uniq 命令删除重复的行后，有如下输出结果：cmd@hdd-desktop:~$ uniq testfile #删除重复行后的内容

test 30

Hello 95

Linux 85

例2：检查文件并删除文件中重复出现的行，并在行首显示该行重复出现的次数。使用如下命令：uniq-c testfile

结果输出如下：cmd@hdd-desktop:~$ uniq-ctestfile #删除重复行后的内容

3 test 30 #前面的数字的意义为该行共出现了3次

4 Hello 95 #前面的数字的意义为该行共出现了4次

2 Linux 85 #前面的数字的意义为该行共出现了2次

【责任编辑：云霞 TEL：(010)68476606】

点赞 0