Linux shell编程之 awk扩展应用

去除文件重复行
1）提取测试文件

[root@svr5 ~]# awk -F: '{print $7}' /etc/passwd > a1.txt
[root@svr5 ~]# cat a1.txt 
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
/sbin/nologin
/sbin/nologin
.. ..
[root@svr5 ~]# 

2）去除a1.txt文件中的重复行，另存为a2.txt

[root@svr5 ~]# awk '!a[$0]++' a1.txt  > a2.txt
[root@svr5 ~]# cat a2.txt 
/bin/bash
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
[root@svr5 ~]# 

统计Web访问量排名
分步测试、验证效果如下所述。
1）提取IP地址及访问量

[root@svr5 ~]# awk  '{ip[$1]++} END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log
127.0.0.1 4
192.168.4.5 17
192.168.4.110 13
.. ..

2）对第1）步的结果根据访问量排名

[root@svr5 ~]# awk  '{ip[$1]++} END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log | sort -nr -k 2
192.168.4.5 17
192.168.4.110 13
127.0.0.1 4
.. ..