AWK去重脚本

awk 去重脚本：

 

--cat test.txt

aa
bb
aa
bb
cc
aa
cc

 

->  awk '!a[$0]++'  test.txt

-输出：

aa
bb
cc

 

->awk '{print a[$0]++}' test.txt  
0
0
1
1
0
2
1

 

将输入行内容作为数组a的下标。第一个值输入时，a[]没有赋值，取反(!)就是真的，输出该行。然后a[]值加1，变为1.再有相同行时,a[]取反就是0，不输出，a[]的值自加。