Linux uniq 实例（2）

uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

4.1 目标

• uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

4.2路径

• 第一步：实现去重效果
• 第二步：不但去重，还要 统计出现的次数

4.3 实现

第一步：实现去重效果

命令	英文	含义
uniq [参数] 文件	unique 唯一	去除重复行

# 准备内容
[root@hadoop01 export]# cat 5.txt 
张三    98
李四    100
王五    90
赵六    95
麻七    70
李四    100
王五    90
赵六    95
麻七    70

# 排序
[root@hadoop01 export]# cat 5.txt | sort
李四    100
李四    100
麻七    70
麻七    70
王五    90
王五    90
张三    98
赵六    95
赵六    95

# 去重
[root@hadoop01 export]# cat 5.txt | sort | uniq
李四    100
麻七    70
王五    90
张三    98
赵六    95

第二步：不但去重，还要 统计出现的次数

参数	英文	含义
-c	count	统计每行内容出现的次数

[root@hadoop01 export]# cat 5.txt | sort | uniq -c
      2 李四    100
      2 麻七    70
      2 王五    90
      1 张三    98
      2 赵六    95

4.4 小结

• 通过 uniq [选项] 文件 就可以完成 去重行 和 统计次数