shell脚本去重的几种方法

60 篇文章 57 订阅
44 篇文章 1 订阅

测试文件如下

jason
jason
jason
fffff
jason

第一种去重方法: sort -u 文件名  或者 cat 文件名 | sort -u

[root@bogon ~]# sort -u test
fffff
jason

但这样只是将去重后的结果打印在屏幕上,如果想将去重后的内容保存下来,语句为:

sort -u 文件名 > 新文件名

或者

cat 文件名 | sort -u > 新文件名

即可将去重后的内容保存在新文件名中

第二种去重方法: uniq 文件名 或者  cat 文件名 | uniq

[root@bogon ~]# uniq test
jason
fffff
jason

由此可见,uniq需要先排序后才能去重,同时将去重后的结果保存在新文件中:cat 文件名 | sort | uniq > 新文件名

第三种去重方法:sort、管道和uniq结合运用

(1)去除重复并保留一份重复的数据

[root@bogon ~]# sort test|uniq
fffff
jason

(2)去除所有重复的行(不保留重复的行),并计算行数

[root@bogon ~]# sort test|uniq -uc
      1 fffff

(3)找出所有重复的行,并计算行数

[root@bogon ~]# sort test|uniq -dc
      4 jason

(4)根据某个字段去重

[root@bogon ~]# sort -k 1,1 -u test
fffff
jason

查看sort的用法,-k参数是这么描述的:

              -k, --key=POS1[,POS2]
    start a key at POS1 (origin 1), end it at POS2 (default end of line)

也就是说-k哪几个列进行排序,pos1是开始列,pos2是结束列

  • 15
    点赞
  • 54
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值