Linux-awk及内置变量

概述

awk(分析&处理)
awk是一个数据处理工具，相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分成数个”字段“来处理。

通常运行模式：

 awk ' 条件类型1{动作1} 条件类型2{动作2}...‘ filename

awk ' BEGIN{ print "start" } pattern { commands } END{ print "end" } file

---

awk 内置变量使用

内置变量表

属性	说明
$0	当前记录（作为单个变量）
$1~$n	当前记录的第n个字段，字段间由FS分隔
FS	输入字段分隔符 默认是空格
NF	当前记录中的字段个数，就是有多少列
NR	已经读出的记录数，就是行号，从1开始
RS	输入的记录他隔符默 认为换行符
OFS	输出字段分隔符 默认也是空格
ORS	输出的记录分隔符，默认为换行符
ARGC	命令行参数个数
ARGV	命令行参数数组
FILENAME	当前输入文件的名字
IGNORECASE	如果为真，则进行忽略大小写的匹配
ARGIND	当前被处理文件的ARGV标志符
CONVFMT	数字转换格式 %.6g
ENVIRON	UNIX环境变量
ERRNO	UNIX系统错误消息
FIELDWIDTHS	输入字段宽度的空白分隔字符串
FNR	当前记录数
OFMT	数字的输出格式(默认值是%.6g)
RSTART	被匹配函数匹配的字符串首
RLENGTH	被匹配函数匹配的字符串长度
SUBSEP	数组下标分隔符(默认值是\034)

---

栗子

以下操作的数据来源为/etc/passwd

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
...........

root开头的那一行

[root@entel2 ~]# awk '/^root/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash

/^root/ 为选择表达式，
^root表示以root开头

$0 代表整行 $1代表第一个区域，依此类推

设置字段分隔符号(FS使用方法）

[root@entel2 ~]# head -1 /etc/passwd
root:x:0:0:root:/root:/bin/bash

[root@entel2 ~]#  awk 'BEGIN{FS=":"}/^root/{print $1,$NF}' /etc/passwd
root /bin/bash

[root@entel2 ~]#  awk 'BEGIN{FS=":"}/^root/{print $2,$NF}' /etc/passwd
x /bin/bash

[root@entel2 ~]#  awk 'BEGIN{FS=":"}/^root/{print $0,$NF}' /etc/passwd
root:x:0:0:root:/root:/bin/bash /bin/bash

[root@entel2 ~]#  awk 'BEGIN{FS=":"}/^root/{print $6,$NF}' /etc/passwd
/root /bin/bash

FS为字段分隔符，可以自己设置，默认是空格，因为passwd里面是”:”分隔，所以需要修改默认分隔符。

NF是字段总数，$0代表当前行记录，$1-$n是当前行，各个字段对应值。

$NF 最后一列的值。

---

记录条数(NR,FNR使用方法)

[root@entel2 ~]# awk 'BEGIN{FS=":"}{print NR,$1,$NF}' /etc/passwd
1 root /bin/bash
2 bin /sbin/nologin
3 daemon /sbin/nologin
4 adm /sbin/nologin
5 lp /sbin/nologin
6 sync /bin/sync
7 shutdown /sbin/shutdown
8 halt /sbin/halt
9 mail /sbin/nologin
10 uucp /sbin/nologin
........

设置输出字段分隔符（OFS使用方法)

指定分隔符为^^
[root@entel2 ~]#  awk 'BEGIN{FS=":";OFS="^^"}/^root/{print FNR,$1,$NF}' /etc/passwd
1^^root^^/bin/bash

默认字段分隔符：
[root@entel2 ~]#  awk 'BEGIN{FS=":"}/^root/{print FNR,$1,$NF}' /etc/passwd
1 root /bin/bash

OFS设置默认字段分隔符

---

设置输出行记录分隔符(ORS使用方法）

cat /etc/passwd|head -n 5|awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}'

[root@entel2 ~]# cat /etc/passwd|head -n 5|awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}'
1 root /bin/bash^^2 bin /sbin/nologin^^3 daemon /sbin/nologin^^4 adm /sbin/nologin^^5 lp /sbin/nologin^^

ORS默认是换行符，这里修改为：”^^”，所有行之间用”^^”分隔了。

---

输入参数获取(ARGC ,ARGV使用）

[root@entel2 ~]#  awk 'BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="ARGV[k]; }}' /etc/passwd
ARGC=2
0=awk
1=/etc/passwd

[root@entel2 ~]# awk 'BEGIN{FS=":";print "NUM="ARGC;for(k in ARGV){print k"="ARGV[k];}}' /etc/passwd
NUM=2
0=awk
1=/etc/passwd

ARGC得到所有输入参数个数，ARGV获得输入参数内容，是一个数组。

---

获得传入的文件名(FILENAME使用)

[root@entel2 ~]# awk 'BEGIN{FS=":";print FILENAME}/^root/{print FILENAME}' /etc/passwd

/etc/passwd

可见 第一行并没有打印出 /etc/passwd

FILENAME,$0-$N,NF 不能使用在BEGIN中，BEGIN中不能获得任何与文件记录操作的变量。

获得linux环境变量（ENVIRON使用）

[root@entel2 ~]# awk 'BEGIN{print ENVIRON["PATH"];}' /etc/passwd
.:/oracle/oracle11/product/112/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

输出数据格式设置：(OFMT使用）

[root@entel2 ~]# awk 'BEGIN{OFMT="%.3f";print 2/3,123.11111111;}' /etc/passwd   
0.667 123.111

默认的
[root@entel2 ~]# awk 'BEGIN{OFMT="%.6f";print 2/3,123.11111111;}' /etc/passwd   
0.666667 123.111111

OFMT默认输出格式是：%.6g 保留六位小数，这里修改OFMT会修改默认数据输出格式。

按宽度指定分隔符（FIELDWIDTHS使用）

[root@entel2 ~]# echo 20160922231258 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 2"}{print $1"-"$2"-"$3,$4":"$5":"$6}'
2016-09-22 23:12:58

FIELDWIDTHS其格式为空格分隔的一串数字，用以对记录进行域的分隔，FIELDWIDTHS=”4 2 2 2 2 2”就表示$1宽度是4，$2是2，$3是2 …. 。这个时候会忽略：FS分隔符。

RSTART RLENGTH使用

[root@entel2 ~]# awk 'BEGIN{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'
11 11 4

[root@entel2 ~]# awk 'BEGIN{start=match("this is a test",/^[a-z]+$/); print start, RSTART, RLENGTH }'
0 0 -1

RSTART 被匹配正则表达式首位置，RLENGTH 匹配字符长度，没有找到为-1.

---