文章来自于本人个人博客: linux awk详解与应用
1.awk
awk是一个强大的文本分析工具,它可以通过分析文本来生成一个数据报告。它的原理就是读取每行的输入,然后按照分隔符切分(默认是空格),再进行定制计算。
awk '{print $1}' /etc/passwd #打印出passwd文件的所有行的第一列
这是awk的基础语法,在awk中$n代表列数,即$1--第一列,$2---第二列....,但是$0代表整行
接下来我们按照指定的分隔符打印数据:
awk -F ':' '{print $1}' /etc/passwd #将每行按照冒号分隔,打印第一列
现在我们来用另外一种awk的写法打印上图的输出
cat /etc/passwd | awk -F ':' '{print $1}'
awk有一些必须掌握的参数:
ARGC 命令行参数个数
ARGV 命令行参数排列
FILENAME AWK浏览文件的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符,跟-F一样
NF 域的索引,即列号
NR awk读取的当前行号
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
现在我们来打印第一列,当前行号,列号的值
cat /etc/passwd | awk '{print "cols:",$1," rowNumber:",NR," colNumber:",NF}'
awk的语法结构为 awk 'BEGIN{statements} {statements} END{statements}' 其中在BEGIN中的语句是初始化一些变量或者打印一些初始数据的地方,在中间的{}中是进行一些逻辑运算的地方,在END{}中的语句是在计算完成输出之后需要追加的一些输出
cat /etc/passwd | awk 'BEGIN{count=0} {count=count+1;print "count=",count} END{print "END",NR}'
再来看看awk的for和while操作:
ls -l | awk 'BEGIN {print user,time,row} {for(i =0; i< FNR;i++) {print $3,$7,NR}}' #按照总行数循环打印出第三列和第七列,还有行数
ls -l | awk 'BEGIN{print "begin "} {print $0;count=0;while (count < 2) {print $9;count=count+1;} print "count=",count}'
运用awk计算当前文件夹下文件的总大小
ls -l | awk 'BEGIN{count=0} {count = count + $5;} END{print "total=",count}'
awk的内置函数
数值计算函数:
cos(x) 余玄
sin(x) 正玄
exp(x) x的冥
log(x) x的对数
sqrt(x) x的平方
int(x) x转换为整数
rand() 返回任意数字n (0<n<1)
字符串函数:
sub(Ere,Repl,[In]) 用Repl参数指定的字符串替换In参数指定的字符串中的由Ere参数指定的扩展正则表达式的第一个具体值
gsub(Ere,Repl,[In]) 除了正则表达式所有值会被替代这点,它与sub是一样的行为
index(string1, string2) 返回string1中存在string2的位置
length([string]) 返回字符串的长度,如果不加参数,则返回整个记录的长度
blength([string]) 返回以字节为单位的字符串长度,其余等同于length
substr(string,M,[N]) 返回以M处开始,N结束的子串,如果N为空,则返回从M到length()的子串
match(string,Ere) 如果字符串匹配正则表达式,则返回出现的位置,从1开始,如果没有,则返回0
split(string,A,[Ere]) 将字符串按照分隔符分为A数组,如果不按照Ere正则分隔,则会以FS来分隔字符串
tolower(string)
toupper(string)
时间函数:
mktime(YYYY MM DD HH MM SS [DST])
strftime([format[,timestamp]]) 格式化时间
systime() 得到时间戳
ls -l | awk '{str=$9;print "before=",str; sub(/.py*/,"",str); print "after=",str}'
ls -l | awk '{str=$9;print str; data=substr(str,0,index(str,"."));print data}' #substr函数去掉文件后缀名