Linux实用技巧——删除重复行


Linux实用技巧目录:Linux实用技巧——0_目录


0. 前言

对于删除文件中的重复行,比如处理如下文件

[root@mobius ~]$cat file_test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa

需要得到的删除为:

123
aaa
aaaaa
bbb
bbbbb
ccccc

下面给出四种方法

1. sort -u方法

有关 sort 命令操作见Linux 工作常用命令笔记-sort排序

解决方案如下:

[root@mobius ~]$sort -u file_test.txt
123
aaa
aaaaa
bbb
bbbbb
ccccc

2. sort + uniq方法

解决方案:

[root@mobius ~]$sort file_test.txt | uniq
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意:只用uniq无法达到预期效果

3. sort + awk方法

解决方案:

[root@mobius ~]sort file_test.txt | awk '{if($0!=line)print; line=$0}'
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意:只用awk无法达到预期效果

4. sort + sed 方法

解决方案:

[root@mobius ~]sort file_test.txt | sed '$!N; /^\(.*\)\n\1$/!P; D'
123
aaa
aaaaa
bbb
bbbbb
ccccc
  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值