每天回顾linux命令（uniq）

uniq命令
uniq命令用于报告或忽略文件中的重复行。

语法
uniq (选项） （参数） 或者uniq (参数) (选项)

选项
不加参数：输出忽略文件中的重复行。
-c或–count：在每列前显示改行重复出现的次数。

root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txt
aaa
bbb
ccc
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txt  -c
      2 aaa
      2 bbb
      2 ccc
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq  -c testfile.txt
      2 aaa
      2 bbb
      2 ccc
root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txt
aaa
aaa
bbb
bbb
ccc
ccc

-d或–repeated：仅显示重复出现的行列

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txt
aaa
aaa
bbb
bbb
ccc
ccc
ddd
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -d testfile.txt
aaa
bbb
ccc

-D：显示所有重复出现的行（重复的输出2行，不输出不重复的）

root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -d  testfile.txt
aaa
bbb
ccc
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -D  testfile.txt
aaa
aaa
bbb
bbb
ccc
ccc

-f<栏位>或–skip-fields=<栏位>：忽略比较指定的栏位（默认以空格符分隔符）。

root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txt
aaa bbb
bbb bbb
ccc ddd
ddd eee
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -f 1 testfile.txt
aaa bbb
ccc ddd
ddd eee
root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txt
aaa bbb
aaa bbb
bbb bbb
bbb bbb
ccc ddd
ccc ddd
ddd eee

-s<字符位置>或–skip-chars=<字符位置>：检查的时候，不考虑每一行前N个字符。

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txt
aaa bbb
aaa bbb
bbb bbb
bbb bbb
ccc bbb
ccc bbb
ddd bbb
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txt
aaa bbb
bbb bbb
ccc bbb
ddd bbb
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -s 5 testfile.txt
aaa bbb
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -s 2 testfile.txt
aaa bbb
bbb bbb
ccc bbb
ddd bbb

-u或–unique：显示不重复的行列

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txt
aaa bbb
aaa bbb
bbb bbb
bbb bbb
ccc bbb
ccc bbb
ddd bbb
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -u testfile.txt
ddd bbb

-w<字符位置>或–check-char=<字符位置>:检查的时候，只考虑每一行前N个字符。

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txt
aaa cbb
aaa dbb
bbb ebb
bbb fbb
ccc gbb
ccc hbb
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txt
aaa cbb
aaa dbb
bbb ebb
bbb fbb
ccc gbb
ccc hbb
root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -w 3 testfile.txt
aaa cbb
bbb ebb
ccc gbb

参数
输入文件：指定要去除的重复文件。如果不指定则从标准输入读取数据。
输出文件：指定去除的重复行文件后的内容要写入的输出文件。如果不指定，则将内容显示到标准输出设备。