处理模式:
awk的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作。如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指定的行都被处理。
组成部分:
处理输入前将做的处理BEGIN,
处理输入过程将做的处理,
处理输出完成后做的处理END
指定分隔符:
awk 'BEGIN { FS = ":" } {print $1}' /etc/passwd
awk -F: '{print $1}' /etc/passwd
echo "hello:world.yes/no"| awk 'BEGIN { FS = "[:/.]" } {print $1, $2, $3 }'
#按照正则表达式的值做为分隔符,这里代表空格、: / .同时做为分隔符
awk的赋值:
无需声明,直接定义赋值,而且运算都很通常
实例:
统计空行数
awk '/^$/ { x++} END{print x}' test
计算平均值:
awk '{avg=($2+$3+$4)/3} {print $1 "\t" avg}' grade
awk中的系统变量:
NF:当前输出记录的字段个数,$NF 常用于表示最后一字段
NR: 记录当前的处理的行号
ARGC 命令行变元个数
ARGV 命令行变元数组
FILENAME 当前输入文件名
FNR 当前文件中的记录号
FS 输入域分隔符,默认为一个空格
RS 输入记录分隔符 一般是个换行符
OFS 输出域分隔符
ORS 输出记录分隔符
实例:算账:
数据:
1000
125 market -125
126 a -19
128 vc -20
程序:
awk '
BEGIN {FS = "\t"}
NR == 1 { print "Begin :\t " $1
balance = $1
next}
{
print $1,$2,$3
print balance += $3
} ' grade
结果
Begin : 1000
125 market -125
875
126 a -19
856
128 vc -20
836
awk中的匹配:
awk '/101/' file #显示文件file中包含101的匹配行。
awk '/101/,/105/' file
awk '$1 == 5' file
awk '$1 == "CT"' file #注意必须带双引号
awk '$1 * $2 >100 ' file
awk '$2 >5 && $2<=15' file
df | awk '$4>1000000 ' #通过管道符获得输入,如:显示第4个域满足条件的行。
awk '$1 !~ /101/ {print $1}' file 不显示显示文件中第一个域匹配101的行(记录)
awk '/^(redis|mysql)/' passwd 开头以redis或者mysql开头的行
awk '/^[rm]/' passwd 开头以r或者m开头
awk –FS:'$1 ~ /t$/' passwd 第一个字段以t结尾的
awk '/tom/ {count++;}
END {print "tom was found "count" times"}' file 计算字段出现次数
awk '/^root/,/^mysql/' test 打印以root开头的记录到以mysql开头的记录范围内的所有记录。如果找到一个新的正则表达式root开头的记录,则继续打印直到下一个以正则表达式mysql开头的记录为止,或到文件末尾。
AWK的格式化输出:和c语言一样
printf(”%-15s\t%10d\n”, $9, $5)
例子:如何把一行竖排的数据转换成横排?
awk '{printf("%s,",$1)}' filename
AWK中的判断和逻辑运算:
运算符 | 描述 |
= += -= *= /= %= ^= **= | 赋值 |
?: | C条件表达式 |
|| | 逻辑或 |
&& | 逻辑与 |
~ !~ | 匹配正则表达式和不匹配正则表达式 |
< <= > >= != == | 关系运算符 |
空格 | 连接 |
+ - | 加,减 |
* / & | 乘,除与求余 |
+ - ! | 一元加,减和逻辑非 |
^ *** | 求幂 |
++ -- | 增加或减少,作为前缀或后缀 |
$ | 字段引用 |
in | 数组成员 |
AWK中的条件
语法:如果条件非零非空则为真,执行action1,
if(expression){
action1
action1.1
}
else
action2
例子:
awk '{gsub(/\$/,"");gsub(/,/,"");
if ($4>1000&&$4<2000) c1+=$4;
else if ($4>2000&&$4<3000) c2+=$4;
else if ($4>3000&&$4<4000) c3+=$4;
else c4+=$4; }
END {printf "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
三目运算符:
expr ? “Success_action1”: fail_action
awk 'BEGIN { max=100 ;print "max=" max}
#BEGIN 表示在处理任意行之前进行的操作。
{max=($1 >max ?$1:max); print $1,"Now max is "max}' file
#取得文件第一个域的最大值。
awk输出结果到文件:
写入>
awk '{ print FILENAME,$0 }' file1 file2 file3>fileall
把file1、file2、file3的文件内容全部写到fileall中,格式为打印文件并前置文件名。
恢复时,把合并后的文件重新分拆为3个文件。并与原文件一致
awk ' $1!=previous { close(previous); previous=$1 }
{print substr($0,index($0," ") +1)>$1}' fileall
如果当前$1(文件名)不等于先前的,就是新的文件了,那么文件名$1就要改变
index,找出字段的位置,由于文件名和字段$0是以一个空格分开的。
substr找出特定的子串,就是文件名之后的所有字段
拼接文件:
现在有两个文件格式如下:
#cat account
张三|000001
李四|000002
#cat cdr
000001|10
000001|20
000002|30
000002|15
想要得到的结果是将用户名,帐号和金额在同一行打印出来,如下:
张三|000001|10
张三|000001|20
李四|000002|30
李四|000002|15
awk -F\| 'NR==FNR {a[$2]=$0; next}{print a[$1]" | "$2}' account adr
因为在第一个文件区域时,NR和NFR是相等的所以把第一个文件整个字段缓存到a数组中去
awk中的循环:
break 跳出本层循环,continue结束本次循环;
exit在某条件时退出,但是仍执行END操作。
next在某条件时跳过该行,对下一行执行操作
while (condition){
actions
}
do循环:至少执行一次
do
action
while(condition)
for循环:
for(set_counter; test_counter; increment_index)
action
例子:
awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。
awk '{ for(i=1;i<NF;i++) {print NF,$i}}' file 通过for语句实现循环。
awk中的数组:
和c语言一样,不用声明
关联数组:下标可以是字符串和数值
访问关联数组:
for (item in array)
print item, array[item]
awk中的函数:
算术函数:
cos(x)余弦、exp(x)e的x次幂、int(x)整数部分
sin(x)正弦、log(x)e的x对数、sqrt(x)平方根
rand()随机数、srand(x),建立新种子、默认时当天时间
字符串函数:
gsub(r,s,t) r正则表达式匹配,s将被替换字符串,t替换字符串
例子:awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;
END {print "The total is $" cost>"filename"}' file
#用空串替换$和,再将结果输出到filename中。
sub(r,s,t)首次出现
substr(s,p,n)当指定n时,返回s[p]~s[p+n]的字符串,没制定就是s[p]-
index(s,t)t字符在s的位置
length(s) s的长度
split 函数可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供,则按当前FS值进行分割
awk 'BEGIN{ split("2015-12-30",time, "-");print time[1]}'
match(s,r)r正则表达式,返回出现r的起始位置
awk '{start=match("this is a test",/[a-z]+$/); print start}'
awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'
第一个实例打印以连续小写字符结尾的开始位置,这里是11。
第二个实例还打印RSTART和RLENGTH变量,这里是11(start),11(RSTART),4(RLENGTH)
tolower() 小写
toupper() 大写
awk 'BEGIN{print toupper("test")}'
systime()当前时间戳
strftime函数使用C库中的strftime函数格式化时间。格式如下:
systime( [format specification][,timestamp] )
awk 'BEGIN{print strftime("%m-%d-%y",systime())}'
awk 'BEGIN{print strftime("%F",systime())}'
getline 从输入中读取另一行,既能读取正常的输入数据,又能处理来自文件和管道的输入
成功读取返回1,文件结尾返回0,文件错误返回-1
从文件读取 while ((getline < “data”) > 0)
从标准输入读取:
awk 'BEGIN {printf "enter name:"; getline name < "-" ;print name}'
管道符:
awk 'BEGIN {"date"| getline name < "-" ;print name}'
例子读取当前用户在/etc/passwd的字段:(实际只有root可以~_~)
awk 'BEGIN{"who am i"| getline ; name=$1; FS =":"} name ~ $1 {print $0}' /etc/passwd
close():关闭打开的文件和管道,这样有的命令可以复用多次
system():执行命令(阻塞式),返回被执行的命令的退出状态
例子:awk 'BEGIN {if (system("ls") != 0) print "Failed"; else print "ok" }'
参考博文: http://www.cnblogs.com/emanlee/p/3327576.html