目录
(六)其他内置变量的用法FS、OFS、NR、FNR、RS、ORS
一、AWK工具介绍
- AWK是一种处理文本文件的语言,是一个强大的文本分析工具。
- 它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作。
- 数据可以来自标准输入也可以是管道或文件。
1.1.AWK工作原理
- 逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
- sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个""字段然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
1.2.AWK基本命令格式
awk [选项] '模式条件{操作}' 文件1 文件2...
awk -f 脚本文件 文件1 文件.....
awk包含几个特殊的内建变量如下所示:
FS:指定每行文本的字段分隔符,默认为空格或制表位。
NF:当前处理的行的字段个数。
NR:当前处理的行的行号(序数)。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列)。
FILENAME:被处理的文件名。
RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是"\n'
简说:数据记录分隔,默认为\n,即每行为一条记录
二、实例
(一)简单的awk实例
①打印磁盘使用情况的第一列。
②打印账号管理文件的一些操作。
(二)awk常用内置变量
$1:代表第一列
$2:代表第二列以此类推
$0:代表整行
NF:一行的列数
NR:行数
实例:
①打印包含root的整行内容。
②打印包含root行的第一列。
③打印包含root行的第一列和第六列。
④打印每一行的列数。
⑤显示行号。
⑥显示行号和整行内容。
⑦打印第二行,不加print也一样,默认就是打印。
⑧打印第二行的第一列。
⑨打印最后一行。
⑩打印总行数。
11.打印文件最后一行。
12.打印第几行有几列。
13.扩展生产:网卡的ip、流量。
(三)BEGIN、END的用法
- 逐行执行开始之前执行什么任务,结束之后再执行什么任务,用BEGIN、END。
- BEGIN一般用来做初始化操作,仅在读取数据记录之前执行一次。
- END一般用来做汇总操作,仅在读取完数据记录之后执行一次。
(四)模糊匹配,用~表示包含,!~表示不包含
(五)关于数值与字符串的比较
比较符号:== != <= >= < >
[root@localhost ~]#awk 'NR==5{print}' /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@localhost ~]#awk 'NR==5' /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@localhost ~]#awk 'NR<5' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:l:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@localhost ~]#awk -F: '$3==0' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@localhost ~]#awk -F: '$1=="root"' /etc/passwd//精确匹配一定是root
root: x:0:0:root:/root:/bin/bash
[root@localhost ~]#awk -F: '$3>=1000' /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFs User:/var/lib/nfs:/sbin/nologin
shengjie:x:1000:1000:shengjie:/home/shengjie:/bin/bash
逻辑运算 && ||
案例:
awk -F: '$3<10 || $3>=1000' /etc/passwd
awk -F: '$3>10 && $3<1000' /etc/passwd
awk -F: 'NR>4 && NR<10' /etc/passwd
(六)其他内置变量的用法FS、OFS、NR、FNR、RS、ORS
(七)AWK的高级用法
(1)定义引用变量
[root@localhost ~]# a=100
[root@localhost ~]# awk -v b="$a" 'BEGIN{print b}' //将系统的变量a,在awk里赋值为变量b,然后调用变量b
100
[root@localhost ~]# awk 'BEGIN{print "'$a'")' //直接调用的话需要先用双引号再用单引号
10
[root@localhost ~]# awk -vc=1 'BEGIN{print c}' //awk直接定义变量并引用
1
if语句: awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd //第三列小于10的打印整行
[root@localhost ~]# awk -F: '{if($3<10){print $3}else{print $1)}' etc/passwd
//第三列小于10的打印第三列,否则打印第一列awk还支持for循环、while循环、函数、数组等
(2)其他
awk 'BEGIN{x=0};/\/bin\/bash$/{x++;print x,$0};END{print x}' /etc/passwd
#统计以/bin/bash结尾的行数,等同于grep -c "/bin/bash$" /etc/passwdBEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作;
awk再处理指定的文本,之后再执行END模式中指定的动作,END{}语句块中,往往会放入打印结果等语句awk -F ":" '!($3<200){print}' /etc/passwd #输出第3个字段的值不小于200的行
awk 'BEGIN{FS=":");{if($3>=1000){print}}' /etc/passwd #先处理完BEGIN的内容,再打印文本里面的内容awk -F ":" '{max=($3>=$4) ?$3:$4; {print max}}' /etc/passwd
#($3>$4)?$3:$4三元运算符,如果第3个字段的值大于等于第4个字段的值,则把第3个字段的值赋给max,否则第4个字段的值赋给maxawk -F ":" '{print NR,$0}' /etc/passwd #输出每行内容和行号,每处理完一条记录,NR值加1
sed -n '=;p' /etc/passwdawk -F ":" '$7~"bash" {print $1,$7}' /etc/passwd #输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awk -F: '/bash/{print $1}' /etc/passwdawk -F":" '($1~"root") && (NF==7) {print $1,$2,$NF } ' /etc/passwd
第1个字段中包含root且有7个字段的行的第1、2个字段awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}'/etc/passwd
输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行
#输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行
awk -F: '($NF !="/bin/bash")&&($NF !="/sbin/nologin"){print NR,$0}' passwd通过管道、双引号调用shell命令:
echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'
#统计以冒号分隔的文本段落数,END{}语句块中,往往会放入打印结果等语句
echo $PATH | awk 'BEGIN{RS=":"};{print NR,$0};END{print NR}'