linux shell awk nf,Linux Shell编程四剑客-awk

awk

【语法】awk 【option】 pattern action filename

program：pattern+action

如果action中有多个语句，需要用;分隔

eg:awk 'BEGIN{test="hello gawk";print test}'

1、print

print item1,item2, ...

1)逗号分隔符

2)输出的各item可以是字符串，也可以是数值：当前记录的字段、变量或awk的表达式

3)如省略item,相当于print $0;

2、变量

在awk中引用变量是不需要使用$的，注意使用$和不使用$的区别

2.1 內建变量

FS:input field separator,默认为空白字符

OFS: output field separator,默认为空白字符

RS:input record separator,默入时的换行符

ORS:output record separator,输出时的换行符

eg:awk 'BEGIN{FS=":";OFS="\t"}NR==1{print $1,$2}' /etc/passwd

awk  -v FS=":" -v OFS="\t" 'NR==1{print $1,$2}' /etc/passwd

NF:number of field,字段数量

{print NF},{print $NF}

NR:number of record,行数

FNR:各文件分别计数:行数

FILENAME

awk '{print FILENAME}' /etc/fstab

ARGC:命令行参数的个数

awk 'BEGIN{print ARGC}' /etc/fstab

ARGV:保存的是命令行所给定的各参数

awk 'BEGIN{print ARGV[1]}' /etc/fstab

2.2自定义变量

1)变量名区分大小写

-v var=valueawk -v test="hello gawk" '{print test}' /etc/fstab

awk -v test="hello gawk" 'BEGIN{print test}'

2)在pattern中直接定义awk 'BEGIN{test="hello gawk";print test}'

3)在action中直接定义，不同命令之间用;和在pattern中定义是有区别的awk '/^title/{i=1;print $0}' /etc/grub.conf

3、printf命令

格式化输出:printf FORMAT,item1,item2,...

1)FORMAT必须给出

2)不会自动换行，需要显示给出换行控制符 \n

3)FORMAT中需要分别为后边的每个item指定一个格式化符号

格式符:

%c:显示字符的ASCII码

%d,%i:显示十进制整数

%e,%E:科学计数法数值显示

%f:显示为浮点数

%g,%G:以科学计数法或浮点形式显示数值

%s:显示字符串

%u:无符号整数

%%:显示%自身

eg:awk '{printf "%s\n",$1}' /etc/fstab

awk '{printf "username:\t%s\n",$1}' /etc/fstab

awk '{printf "filesytem:\t%s\tsize:\t%d\n",$1,$2}' /etc/fstab

修饰符:

number[.number]第一个数字控制显示的宽度：第二个数字表示小数点之后的精度

%3.1f

-：左对齐

+：显示数字的符号

eg:awk '{printf "filesytem:\t%15s\tsize:\t%d\n",$1,$2}' /etc/fstab  (默认是右对齐)

*注意和上图的区别awk '{printf "filesytem:%-15s\tsize:\t%d\n",$1,$2}' /etc/fstab   (左对齐结果)

4、操作符

算术操作符

x+y,x-y,x*y,x/y,x^y,x%y

-x

+x:把一个字符串转换为数值

字符串操作符：没有符号的操作符，表示字符串连接

赋值操作符：

=,+=,-=,/=,%=,*=

++,--

比较操作符

>,>=,

模式匹配符：

~：左侧的模式是否能被右侧的模式匹配

!~:是否不能被匹配

逻辑操作符

&&

||

!

函数调用:

functon_name(argu1,argu2,...)可见bash是一种奇葩的编程语言，这才是正规的

条件表达式(属于一种action，下边第6条有详解)：

selector?if-true-expression:if-false-expression

eq:awk -F: '{$3>=500?usertype="Common User":usertype="System User";printf "%-15s:%s\n",$1,usertype}' /etc/passwd

5、pattern(指定执行的地址范围；地址定界)

1)empty:空模式，匹配每一行：

2)/regular expression/:仅处理能够被此处的模式匹配的行

eg:awk '/^\//{print $1}'  /etc/fstab

对匹配到的内容去反

awk '!/^\//{print $1}' /etc/fstab

3)relational expression:关系表达式:结果有“真”有“假”：结果为真的才被处理

真：结果为非0值,非空字符串awk -F: '$3>=500{print $1,$3}' /etc/passwd

最后一列(域)等于/bin/bash

awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd

利用前边讲到的模式匹配~

awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd

4)line range：行范围

startline,endlineawk -F: 'NR>=2&&NR<=10{print $1}' /etc/passwd

再来插入下语法加强记忆：awk [option] pattern action

5)BEGIN/END模式

BEGIN{}：仅在开始处理文件中的每一行文本之前执行一次

END{}：仅在文本处理完成之后执行一次

eg：awk -F: 'BEGIN{print "\tusername\tuid\n------------------------------"}NR>=1&&NR<=5{print $1,$3}' /etc/passwd

注意这个例子和上个例子的区别，BEGIN的内容放到主程序里边了

awk -F: 'NR>=1&&NR<=5{print "\tusername\tuid\n------------------------------";print $1,$3}' /etc/passwd

awk -F: 'BEGIN{print "\tusername\tuid\n------------------------------"}NR>=1&&NR<=5{print $1,$3}END{print "=====================end=========================="}' /etc/passwd

6、常用的action

1)expressions表达式

2)control statements控制语句(以下第7条有详解)

if

while

3)compound statements组合语句

4)input statements输入语句

5)outpput statements输出语句

7、控制语句

if(condition) {statements}

if(condition) {statements} else {statements}

while(condition) {statements}

do {statements} while(condition)

for(expr1;expr2;expr3) {statements}

break

continue

delete array[index]

delete array

exit

{statements}

7.1 if-else

语法：if(condition) {statements} else {statements}

单分支：

awk -F: '{if($3>=500) {print $1,$3}}' /etc/passwd

双分支awk -F: 'NR>=1&&NR<=5{if($3>=500) {printf "Common User:%s\n",$1} else {printf "System User:%s\n",$1}}' /etc/passwd

使用场景：对awk取得的整行或某个字段做条件判断

行的字段(域)数大于5，输出行awk '{if(NF>5) {print $0}}' /etc/fstab

练习：输出使用率大于20%的分区df -h | awk -F% '{print $1}' | awk 'NR>=2{if($NF>70){print $1}}'

7.2 while循环

语法：while(condition) {statements}

条件真，进入循环；条件假，退出循环

使用场景：对一行内的多个字段逐一类似处理时使用，对数组中的各元素逐一处理时使用

练习：对某一行处理，并统计每个字段的长度awk '/^title.* 6 .*/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub.conf

添加修饰符awk 'BEGIN{print "---------total-----------"}/^title.* 6 .*/{i=1;while(i<=NF){printf"%-25s\t%i\n",$i,length($i);i++}}END{print "===========end==========="}' /etc/grub.conf

加深难度：在原有题意上添加需求：字段大于等于5的输出

解题思路：在while中嵌套ifawk 'BEGIN{print "---------total-----------"}/^title.* 6 .*/{i=1;while(i<=NF){if(length($i)>=5){printf"%-25s\t%i\n",$i,length($i)};i++}}END{print "===========end==========="}' /etc/grub.conf

后续其他控制语句就不列举了，awk如此博大精深，如果用不到它的所有功能，不需要全部掌握，否则反而不利于记忆，以上能够掌握就已经够平时工作使用了。