awk去重

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

awk的基本命令格式 awk ‘pattern{action}’
省略action时，默认action是{print}，如awk '1’就是awk ‘1{print}’

利用数组去重
方法一：

awk '!a[$3]++' file

以数据为例:
1 2 3
1 2 3
1 2 4
1 2 5

awk处理第一行时： 先读取a[$3]值再自增，a[$3]即a[3]值为空(0)，即为awk ‘!0’，即为awk ‘1’，即为awk ‘1{print}’
awk处理第二行时： 先读取a[$3]值再自增，a[$3]即a[3]值为1，即为awk ‘!1’，即为awk ‘0’，即为awk ‘0{print}’
…
最后实现的效果就是对于$3是第一次出现的行进行打印，也就是去除$3重复的行。

方法二：

awk '!($3 in a){a[$3];print}' file

这句的作用也一样，如果$3的值不是在a数组的下标中，那么把$3存入数组下标中，并打印。执行到第2行时，$3的值是3，已经存在于数组a的下标中，则不会执行后面的{action}。同样达到去重目的。