cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5
[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5
210.51.237.245 998
180.168.213.182 995
124.205.50.21 994
192.250.46.129 993
211.94.163.244 991
1: {a[$1]++}
对于awk 'a[$1]++',需要了解3个知识点
1、awk数组知识
2、awk的基本命令格式 awk 'pattern{action}'
省略action时,默认action是{print},如awk '1'就是awk '1{print}'
3、var++的形式:先读取var变量值,再对var值+1
最后实现的效果就是去除$1重复的行,并计算次数
等同于这个 awk '{a[$1]++} {print $1"->"a[$1]} ' access.20120104.log
access.20120104.log太多,只显示前面10条,测试下
[jifeng@jifeng01 hadoop]$ awk 'NR==1,NR==10 {print $0}' access.20120104.log >acc.txt
[jifeng@jifeng01 hadoop]$ awk '{a[$1]++} {print $1"->"a[$1]} ' acc.txt
120.197.87.216->1
123.126.50.73->1
203.208.60.187->1
114.112.141.6->1
114.112.141.6->2
110.6.179.88->1
116.205.130.2->1
114.112.141.6->3
114.112.141.6->4
110.75.173.35->1
2.{for(b in a) print b"\t"a[b]}
取出数组中的下标 b,也就是IP地址和a[b]它的个数
数组的使用
<1>建立数组
<2>读取数组值 <3>多维数组,array[index1,index2,……]:SUBSEP是数组下标分割符,默认为“\034”。可以事先设定SUBSEP,也可以直接在SUBSEP的位置输入你要用的分隔符,如: 3: sort排序-k来指定列数
-t选项,后面可以设定间隔符
-n选项,要以数值来排序
-r选项 sort默认的排序方式是升序,如果想改成降序,就加个-r
-u选项,就是在输出行中去除重复行
4:head
head [参数]... [文件]...
命令参数:
-q 隐藏文件名
-v 显示文件名
-c<字节> 显示字节数
-n<行数> 显示的行数