Linux 常用命令- uniq

# 去重后统计条数
[zhenan@kael236 ~]$sort demo | uniq | wc -l

# 统计每条出现次数
[zhenan@kael236 ~]$sort demo | uniq -c 

# 统计每条出现次数,然后由高到低排序
[zhenan@kael236 ~]$sort demo | uniq -c | sort -rn 


# 下面两种那种好
[zhenan@kael236 ~]$cat demo | wc -l
[zhenan@kael236 ~]$wc -l demo 


[zhenan@kael236 ~]$ cat demo | wc -l
8
[zhenan@kael236 ~]$ sort demo | uniq  | wc -l
6
[zhenan@kael236 ~]$


[zhenan@kael236 ~]$ cat demo
aa
bb
cc
aa
bbdd
cc
dd
ee
[zhenan@kael236 ~]$ sort demo|uniq
aa
bb
bbdd
cc
dd
ee

 

uniq 命令参数：

 参数：

• -c或--count 在每列旁边显示该行重复出现的次数。
• -d或--repeated 仅显示重复出现的行列。
• -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。
• -s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。
• -u或--unique 仅显示出一次的行列。
• -w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。
• --help 显示帮助。
• --version 显示版本信息。
• [输入文件] 指定已排序好的文本文件。如果不指定此项，则从标准读取数据；
• [输出文件] 指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）。

 

[zhenan@kael236 ~]$ sort demo|uniq -c
2 aa
1 bb
1 bbdd
2 cc
1 dd
1 ee
[zhenan@kael236 ~]$ sort demo|uniq -d
aa
cc
[zhenan@kael236 ~]$ sort demo|uniq -u
bb
bbdd
dd
ee
[zhenan@kael236 ~]$