shell编程-awk
awk数组
1.数组的语法格式
数组是一个可以存储多个值的变量
定义数组的格式:
数组名[下标]=元素值
调用数组的格式:
数组名[下标]
a=[1,2,"abc"]
a[2]=abc //下标从0开始
遍历数组的用法:
for(变量 in 数组名){print 数组名[变量]}。
-定义一个数组并调用
# awk ‘BEGIN{a[0]=11;a[1]=88;print a[1],a[0]}’
88 11
# awk ‘BEGIN{a++;print a}’
1
# awk ‘BEGIN{a0++;print a0}’
1
# awk ‘BEGIN{a[0]++;print a[0]}’
1
-遍历数组并输出下标和对应的值
# awk 'BEGIN{a[0]=00;a[1]=11;a[2]=22; for(i in a){print i,a[i]}}'
0 0
1 11
2 22
-下标还可以为字符串,字符串记得加上双引号
# awk 'BEGIN{a["dachui"]=0;print a["dachui"]}'
0
awk实例
1. 分析Web日志中访问量的排名,要求输出客户端的地址、访问次数,按照访问次数从大到小输出
思路:
1.找到那个文件是记录web访问日志?
2.再去分析每行中哪些列是你要的数据
3.涉及到统计,合理使用数组和for循环
4.排序用哪个命令?用什么选项可以从大到小?
/var/log/httpd/access_log
#cat /var/log/httpd/access_log
183.136.225.56 - - [ 20/Mar/2020:14:34:35 +0800] "GET / HTTP/1.1" 403 4897 "_"Mozilla/5.0
(Macintosh; Intel Mac OS X 10.11 ;rv:47.0) Gecko/ 20100101 Firefox/47.0"
匹配到重复的值,就让值加1
下标应该是IP地址,值加1
提取IP地址及访问量
ip[$1]++ print ip[$1]
值 自加
对第1步的结果根据访问量排名
# awk '{ip[$1]++} END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log |
sort -nr -k 2
文本去重
a. txt
a b c
a b c
c b d
a a a
//只显示重复记录的一条
$0 整行文本
#awk ‘a[$1]++’ a. txt
a b c
文本整行去重:
#awk ‘!a[$0]++’ a. txt