今天碰到一个时间差批量计算的问题,弄好后就写下来,方便积累和分享。
部分数据(一共有40多W条,gmail.csv)如上图所示,已经做过二次处理和排版。
第i行前两列时间记作A[i],后两列记作B[i],需要计算平均延迟∑(A[i]-B[i]) /I,以及最大延迟Max(A[i]-B[i])
平均值:
[root[root@test01 test]# awk -F '[ :-]' '{a=strftime("%s",mktime($1" "$2" "$3" "$4" "$5" "$6));b=strftime("%s",mktime($7" "$8" "$9" "$10" "$11" "$12));c=a-b;sum+=c}END{print sum/NR}' gmail.csv
最大值:
[root@test01 test]#awk -F '[ :-]' '{a=strftime("%s",mktime($1" "$2" "$3" "$4" "$5" "$6));b=strftime("%s",mktime($7" "$8" "$9" "$10" "$11" "$12));c=a-b;if(c>max)max=c}END{print max}' gmail.csv
知识点:awk自带的时间函数
函数名说明
mktime( YYYY MM DD HH MM SS[ DST])生成时间格式
strftime([format [, timestamp]])格式化时间输出,将时间戳转为时间字符串
具体格式,见下表.
systime()得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数
创建指定时间(mktime使用)
[chengmo@centos5 ~]$ awk 'BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}'
2001年01月01日 星期一 12时12分12秒
[chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}'
2634468
求2个时间段中间时间差,介绍了strftime使用方法
[chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}'
308201392
strftime日期和时间格式说明符格式描述%a星期几的缩写(Sun)
%A星期几的完整写法(Sunday)
%b月名的缩写(Oct)
%B月名的完整写法(October)
%c本地日期和时间
%d十进制日期
%D日期 08/20/99
%e日期,如果只有一位会补上一个空格
%H用十进制表示24小时格式的小时
%I用十进制表示12小时格式的小时
%j从1月1日起一年中的第几天
%m十进制表示的月份
%M十进制表示的分钟
%p12小时表示法(AM/PM)
%S十进制表示的秒
%U十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w十进制表示的星期几(星期天是0)
%W十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x重新设置本地日期(08/20/99)
%X重新设置本地时间(12:00:00)
%y两位数字表示的年(99)
%Y当前月份
%Z时区(PDT)
%%百分号(%)
今天又遇到个日志问题,写下来方便以后回头看和积累:
原始数据类似:G,2013-09-28 00:00:16+0800,2013-09-27 20:05:27+0800,XASHKNWABASDBKW
我只需要标红的各个字段,代码如下:
awk -F '[,+]' '{gsub(/-|:/," ",$2);gsub(/-|:/," ",$4);print $2,$4}'
意思是:以,或+分割数据字段,同时将第2个字段中的-或:都替换为空格;第四个字段也做了相同的操作,并输出。
输出格式为:2013092800001620130927200527