awk常用命令---去除重复行

去除下面文本中重复的行

java	1
python	2
c++	3
c	4
java	1
java	1
c++	3
python	8

awk命令

awk '!x[$0]++' example.txt

输出

java    1
python  2
c++     3
c       4
python  8

 awk 命令是 !x[$0]++，意思是，首先创建一个 map 叫 x，然后用当前行的全文 $0 作为 map 的 key，到 map 中查找相应的 value，如果没找到，则整个表达式的值为真，可以执行之后的语句；如果找到了，则表达式的值为假，跳过这一行。由于表达式之后有 ++，因此如果某个 key 找不到对应的 value，该 ++ 操作会先把对应的 value 设成 0，然后再自增成 1，这样下次再遇到重复的行的时候，对应的 key 就能找到一个非 0 的 value 了。