uniq命令使用

一、简介
uniq用于重复数据处理,使用前先sort排序。
二、命令格式

uniq [OPTION]... [INPUT [OUTPUT]]
option:
-c:在数据行前出现的次数
-d:只打印重复的行,重复的行只显示一次
-D:只打印重复的行,重复的行出现多少次就显示多少次
-f:忽略行首的几个字段
-i:忽略大小写
-s:忽略行首的几个字母
-u:只打印唯一的行
-w:比较不超过n个字母

三、示例

file="tmp/ut.txt"

#相同数据行只显示一次
sort ${file} | uniq

#相同数据行只显示一次,行首显示出现的次数
sort ${file} | uniq -c

#忽略大小写判断，相同数据行只显示一次,行首显示出现的次数
sort ${file} | uniq -ic

#只显示有重复的数据行,重复数据行只显示一次,行首显示出现的次数
sort ${file} | uniq -dc

#只显示有重复的数据行,重复数据行显示所有的重复
sort ${file} | uniq -D

#只显示不重复的数据行,行首显示出现的次数
sort ${file} | uniq -uc

#忽略行首的9个字母后,对行剩下数据作为判断依据,相同数据行只显示一次,行首显示出现的次数
sort ${file} | uniq -cs9

#忽略行首的2个字段后,对行剩下数据作为判断依据,相同数据行只显示一次,行首显示出现的次数
sort ${file} | uniq -cf2