Linux结合awk的“去重”思想

在Linux中我们有时遇到一大堆排列似乎很有规律、有很多相同条目是属于同一类的，我们希望把它们汇总一下，更清楚的展现在我们眼前。这时候我们就使用“去重”来实现。

先看一个例子：zgrep -a PlayerEnterInfo Audit_2016-08-02.tgz|awk -F, '{ar[$7]=$0}; END{for (i in ar) print ar[i]}'，这里我们使用awk来帮助我们取列，也就是我们想要汇总的对象，例子里面取的是第七列的内容，ar[]是awk中的一个数组或者是队列，与C语言中的数组类似，这里只是换用了$7的内容作为数组的元素名，$0（即整条记录）作为数组的内容，只要第七列的内容是相同的，$0就会一直更新对应数组ar[$7]中的内容，当awk处理完最后一条记录时，开始执行END中的动作，运用for循环将ar数组中的对象输出（print ar[i]输出），当然我们也可以使用printf更进输出的格式。