Linux实用技巧——删除重复行

---

Linux实用技巧目录：Linux实用技巧——0_目录

---

0. 前言

对于删除文件中的重复行，比如处理如下文件

[root@mobius ~]$cat file_test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa

需要得到的删除为：

123
aaa
aaaaa
bbb
bbbbb
ccccc

下面给出四种方法

1. sort -u方法

有关 sort 命令操作见Linux 工作常用命令笔记-sort排序

解决方案如下：

[root@mobius ~]$sort -u file_test.txt
123
aaa
aaaaa
bbb
bbbbb
ccccc

2. sort + uniq方法

解决方案：

[root@mobius ~]$sort file_test.txt | uniq
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意：只用uniq无法达到预期效果

3. sort + awk方法

解决方案：

[root@mobius ~]sort file_test.txt | awk '{if($0!=line)print; line=$0}'
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意：只用awk无法达到预期效果

4. sort + sed 方法

解决方案：

[root@mobius ~]sort file_test.txt | sed '$!N; /^\(.*\)\n\1$/!P; D'
123
aaa
aaaaa
bbb
bbbbb
ccccc