【linux】玩转awk 二

awk的去重和统计
数据如下

siteName a11  
siteName b22  
siteName a11  
siteName a11  
siteName c33  
siteName b22

1.去重
awk '{a[$0]++} END {for(i in a) {print a[i]}}' file.log
2.统计
awk '{a[$0]++} END {for(i in a) {print a[i], i}}' file.log

关键是linux的命令太强大 太好用了
uniq 就是unique 唯一的意思 -c就是count 就是统计的意思

cat file.log | uniq -c