一、筛选给定范围内的日志
1、首先我们需要用到的是awk提供的函数mktime();
mktime() 函数功能:将时间转换为自1970年1月1日以来逝去时间的秒数,发生错误时返回-1。也就是是把获取的时间转换成时间戳。
例子:
2、将2019-11-10T03:42:40+08:00
格式的字符串转换成epoch值:我们用到的patsplit,它是将我们匹配成功的放入一个数组中
BEGIN{
str="2019-11-10T03:42:40+08:00"
patsplit(str,arr,"[0-9]{1,4}")
Y=arr[1]
M=arr[2]
D=arr[3]
H=arr[4]
m=arr[5]
S=arr[6]
print mktime(sprintf("%s %s %s %s %s %s",Y,M,D,H,m,S ))
}
最后我们打印输出的用到了mktime()函数,即得出的是距离上一个时间的秒数
3、输出2019-11-10 3-42-40以后的日志
BEGIN{
which_time = mktime("2019 11 10 03 42 40")
}
{
match($0,"^.*\\[(.*)\\].*",arr) //取出日志中的时期时间字符串部分
tmp_time = strptime1(arr[1]) //将日期时间转换
if(tmp_time > which_time){print} //打印which_time之后的
}
function strptime1(str ,arr,Y,M,D,H,m,S){
patsplit(str,arr,"[0-9]{1,4}")
Y=arr[1]
M=arr[2]
D=arr[3]
H=arr[4]
m=arr[5]
S=arr[6]
return mktime(sprintf("%s %s %s %s %s %s",Y,M,D,H,m,S ))
}
4、当我们er的时间里有英文的缩写处理方式
例如: 构建的时间字符串格式为:"10/Nov/2019:23:53:44+08:00"
gensu() :是一个通用的替代函数
function strptime2(str,dt_str,arr,Y,M,D,H,m,S) {
dt_str = gensub("[/:+]"," ","g",str)
# 经过gensub函数的处理得到:dt_sr = "10 Nov 2019 23 53 44 08 00"
split(dt_str,arr," ")
Y=arr[3]
M=mon_map(arr[2]) #第二个字段是月份,故我们需要对它进行转换
D=arr[1]
H=arr[4]
m=arr[5]
S=arr[6]
return mktime(sprintf("%s %s %s %s %s %s",Y,M,D,H,m,S))
}
function mon_map(str,mons){
mons["Jan"]=1
mons["Feb"]=2
mons["Mar"]=3
mons["Apr"]=4
mons["May"]=5
mons["Jun"]=6
mons["Jul"]=7
mons["Aug"]=8
mons["Sep"]=9
mons["Oct"]=10
mons["Nov"]=11
mons["Dec"]=12
return mons[str]
}
二、awk的变量使用
变量:内置和自定义变量,每个变量前加 -v 命令选项
FS | 输入字段分隔符,默认为空白字符 |
OFS | 输出字段分隔符,默认为空白字符 |
RS | 输入记录分隔符,指定输入时的换行符,原换行符仍有效 |
ORS | 输出记录分隔符,输出时用指定符号代替换行符 |
NF | 字段数量,共有多少字段, $NF引用最后一列,$(NF-1)引用倒数第2列 |
NR | 行号,后可跟多个文件,第二个文件行号继续从第一个文件最后行号开始 |
FNR | 各文件分别计数, 行号,后跟一个文件和NR一样,跟多个文件,第二个文件行号从1开始 |
FILENAME | 当前文件名 |
ARGC | 命令行参数的个数 |
ARGV | 数组,保存的是命令行所给定的各参数,查看参数 |
三、awk的基础小练习
1、只显示/etc/passwd的账户
awk -F ":" '{print $1}' /etc/passwd
2、搜索/etc/passwd有关键字root的所有行
[root@localhost ~]# awk -F ":" '/root/{print}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
3、输出/etc/passwd文件中以nologin结尾的行
[root@localhost ~]# awk -F ":" '/root/{print}' /etc/passwd
输出结果:
4、在 a b f g h 的b后面插入三个字段c d e
[root@localhost ~]# echo a b f g h | awk '{$2=$2 " c d e"}1'
a b c d e f g h
5、打印奇数行
awk 'NR % 2 ==1' 3.txt