Linux命令之处理重复行uniq

概述

uniq 命令可以用于查找文件中的重复行、删除重复行、显示重复行的出现次数等。

注：通常情况下，uniq 命令只删除连续重复行。

语法

该命令的语法如下：

uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

该命令支持的选项有：

选项	说明
c, --count	在每列旁边显示该行重复出现的次数
-d, --repeated	仅显示重复出现的行列
-f <栏位>, --skip-fields=<栏位>	忽略比较指定的栏位
-s <字符位置>, --skip-chars=<字符位置>	忽略比较指定的字符
-u, --unique	仅显示出一次的行列
-w <字符位置>, --check-chars=<字符位置>	指定要比较的字符
–help	显示帮助
–version	显示版本信息
[输入文件]	指定已排序好的文本文件。如果不指定此项，则从标准读取数据
[输出文件]	指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）

使用

删除连续重复行

如果不使用任何参数，uniq 命令将会删除所有连续的重复行，只显示唯一的行。但对于不连续的重复行，则不会进行删除。语法格式如下：

# 语法
uniq 文件名

删除所有重复行

如果我们想要删除所有的重复行，可以让 uniq 命令与 sort 命令一起使用，即先排序让所有的重复行连续，再进行删除。语法格式如下：

# 语法
sort 文件名 | uniq

只显示出现过一次的行

如果想要只显示文件中只出现过一次的行，可以使用 -u 选项：

# 语法
uniq -u 文件名

只显示重复行

我们同样可以只显示重复行，使用 -d 选项即可。如果想要显示所有的重复行，需要使用 -D 选项。命令格式如下：

# 语法
# 只显示重复行
uniq -d 文件名 
sort 文件名 | uniq -d
# 显示所有的重复行
uniq -D 文件名 
sort 文件名 | uniq -D

注意，排序和不排序的区别：

显示文件中每一行的出现次数

如果想要查看文件中每一行的出现次数，可以使用 -c 选项。命令格式如下：

# 语法
uniq -c 文件名
sort 文件名 | uniq -c

注：排序后所有重复行都会连续，而 uniq 命令实际上处理的是连续重复行，对于不连续的重复行不处理。

限定比较的字符个数

我们可以使用 -w 选项限制只比较每行中的指定个数的字符，来判断行是否重复。如下图，判断行的前 5 个字符，来比较每行是否重复，会发现每行都是重复行。语法格式如下：

# 语法
uniq -w 指定比较字符个数 文件名
# 示例
uniq -w 5 test.txt