Linux---shell正则表达式---awk

Linux—shell正则表达式—awk

一.什么是awk？

​ 在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。

二.awk常见用法：

1.awk的命令格式如下：

​ 1）awk 选项 ‘模式或条件 {编辑指令}’ 文件1 文件2… //过滤并且输出文件符合条件的内容
​ 2）awk -f 脚本文件 文件1 文件2 … //从脚本中调用编辑指令，过滤并且输出内容
​ 3）awk工具按列读取数据，默认情况下字段的分隔符为空格或者tab键
​ 4）awk执行的结果可以通过print的功能将字段数据打印显示，且用$1,$2,$3…顺序地表示行中的不同字段，此外$0表示整个行的记录
​ 5）不同的字段之间是通过指定的字符分隔，awk默认的分隔符是空格，awk允许在命令行中用“-F 分隔符”的形式来指定分隔符。

2.awk包含几个特殊的内建变量（可直接用）如下所示：

​ FS：指定每行文本的字段分隔符，默认为空格或制表符（tab键）
​ NF：当前处理的行的字段个数
​ NR：当前处理的行的行号（序数）
​ $0：当前处理的行的整行内容
​ $n：当前处理行的第n个字段（第n列）
​ FILENAME：被处理的文件名
​ RS：数据记录分隔，默认为\n，即每行为一条记录

三.用法示例：

1）按行输入文件：

awk '{print}' test.txt//输出所有内容,等同于 cat test.txt

awk '{print $0}' test.txt//输出所有内容,等同于 cat test.txt

awk 'NR= =1,NR==3{print}' test.txt//输出第 1~3 行内容

awk '(NR>=1)&&(NR<=3){print}' test.txt//输出第 1~3 行内容

awk 'NR= =1||NR==3{print}' test.txt//输出第 1 行、第 3 行内容

awk '(NR%2)==1{print}' test.txt//输出所有奇数行的内容

awk '(NR%2)==0{print}' test.txt//输出所有偶数行的内容

awk '/^root/{print}' /etc/passwd//输出以root 开头的行

awk '/nologin$/{print}' /etc/passwd//输出以 nologin 结尾的行

awk 'BEGIN {x=0} ; /\/bin\/bash$/{x++};END {print x}' /etc/passwd

//统计以/bin/bash 结尾的行数,等同于 grep -c “/bin/bash$” /etc/passwd

awk 'BEGIN{RS=""};END{print NR} /etc/squid/squid.conf//统计以空行分隔的文本段落数

2) 按字段输出文本

awk '{print $3}' test.txt //输出每行中(以空格或制表位分隔)的第 3 个字段

awk '{print $1,$3}' test.txt //输出每行中的第 1、3 个字段

awk -F ":" '$2==""{print}‘ /etc/shadow//输出密码为空的用户的shadow 记录

awk 'BEGIN {FS=":"}; $2==""{print}' /etc/shadow//输出密码为空的用户的shadow 记录

awk -F ":" '$7~"/bash"{print $1}' /etc/passwd//输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段

awk '($1~"nfs")&&(NF==8){print $1,$2}’ /etc/services//输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段

awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd

//输出第 7 个字段既不为/bin/bash 也不为/sbin/nologin 的所有行

3）通过管道、双引号调用Shell命令

awk -F: '/bash$/{print | "wc -l"}' /etc/passwd//调用wc -l 命令统计使用bash 的用户个数,等同于 grep -c “bash$” /etc/passwd

awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}}' //调用w 命令,并用来统计在线用户数

awk 'BEGIN { "hostname" | getline ; print $0}' //调用hostname,并输出当前的主机名