原始文本文件
$ cat test
jason
jason
jason
fffff
jason
方法一:sort -u
去除重复后
sort -u test
fffff
jason
注意顺序被打乱
方法二:sort test|uniq
去除重复后
$sort test |uniq
fffff
jason
注意顺序被打乱,原理和方法一雷同
方法三:awk '!a[$0]++'
去除重复后
$ awk '!a[$0]++' test
jason
fffff
顺序保持不变,文件去重示例
awk '!a[$0]++' test.txt >test.txt.tmp && mv -f test.txt.tmp test.txt
此处awk使用一个临时文件过度结果
具体原理如下:
awk的程序指令由模式和操作组成,即Pattern { Action }的形式,如果省略Action,则默认执行 print $0 的操作。
实现去除重复功能的就是这里的Pattern:
!a[$0]++
在awk中,对于未初始化的数组变量,在进行数值运算的时候,会赋予初值0,因此a[$0]=0,++运算符的特性是先取值,后加1,因此Pattern等价于
!0
而0为假,!为取反,因此整个Pattern最后的结果为1,相当于if(1),Pattern匹配成功,输出当前记录,对于dup文件,前3条记录的处理方式都是如此。
当读取第2行数据“jason”的时候,a[$0]=1,取反后的结果为0,即Pattern为0,Pattern匹配失败,因此不输出这条记录,后续的数据以此类推,最终成功实现去除文件中的重复行。