Shell 脚本正则表达式（三）

{ 动作 } #针对每一行的处理操作

END { 动作 } #处理完最后一行之后的操作

执行流程：

1. 首先执行 BEGIN { } 区块中的初始化操作；

2. 然后从指定的数据文件中循环读取一个数据行（自动更新 NF、NR、$0、$1 … 等内建变量的值），并执行 ‘模式或条件{ 动作 }’；

3. 最后执行 END { } 区块中的后续处理操作。

二、Awk 用法示例

=============================================================================

创建测试文件

[root@localhost ~]# vim test.txt

he was short and fat.

He was wearing a blue polo shirt with black pants.

The home of Football on BBC Sport online.

the tongue is boneless but it breaks bones.12!

google is the best tools for search keyword.

The year ahead will test our political establishment to the li

PI=3.141592653589793238462643383249901429

a wood cross!

Actions speak louder than words

#woood #

#woooooood #

AxyzxyzxyzxyzC

I bet this place is really spooky late at night!

Misfortunes never come alone/single.

I shouldn’t have lett so tast.

1）按行输出文本

输出所有内容等同于 cat test.txt

[root@localhost ~]# awk ‘{print}’ test.txt

或

[root@localhost ~]# awk ‘{print $0}’ test.txt

输出1-3 行内容

[root@localhost ~]# awk ‘NR1,NR3{print}’ test.txt

或

[root@localhost ~]# awk ‘(NR>=1)&&(NR<=3){print}’ test.txt

输出奇数行（%2 求模运算，余数为 1 是奇数，0 为偶数）

[root@localhost ~]# awk ‘(NR%2)==1{print}’ test.txt

输出偶数行

[root@localhost ~]# awk ‘(NR%2)==0{print}’ test.txt

输出以 root 开头的行

[root@localhost ~]# awk ‘/^root/{print}’ /etc/passwd

输出以 bash 结尾的行

[root@localhost ~]# awk ‘/bash$/{print}’ /etc/passwd

统计以 /bin/bash 结尾的行

[root@localhost ~]# awk ‘BEGIN {A=0};//bin/bash$/{A++};END {print A}’ /etc/passwd

或

[root@localhost ~]# awk -F : ‘$7==“/bin/bash”{print NR}’ /etc/passwd

统计以空行分割的文本段落数

[root@localhost ~]# awk ‘BEGIN{RS=“”};END{print NR}’ /etc/sysctl.conf

2）按字段输出文本

输出每行中以空格或制表位分割的第 3 个字段

[root@localhost ~]# awk ‘{print $3}’ test.txt

输出第 1，3 字段

[root@localhost ~]# awk ‘{print $1,$3}’ test.txt

输出密码为空的行

[root@localhost ~]# awk -F : ‘$2==“”{print}’ /etc/shadow

[root@localhost ~]# useradd zhangsan #创建zhangsan用户

[root@localhost ~]# passwd -d zhangsan #清空zhangsan用户密码

[root@localhost ~]# awk -F : ‘$2==“”{print}’ /etc/shadow

[root@localhost ~]# awk ‘BEGIN{FS=“:”};$2==“”{print}’ /etc/shadow

输出以 : 分割，第7字段包含 /bash，的行的第 1 个字段

[root@localhost ~]# awk -F: ‘$7~“/bash”{print $1}’ /etc/passwd

输出第 1 个字段包含 nfs；并且等于 8 个字段的行的第 1，2 字段

[root@localhost ~]# awk ‘($1~“nfs”)&&(NF==8){print $1,$2}’ /etc/services

输出第 7 个字段不是 /bin/bsh 也不是 /sbin/nologin 的行

[root@localhost ~]# awk -F: ‘($7!=“/bin/bsh”)&&($7!=“/sbin/nologin”){print}’ /etc/passwd

3）通过管道、双引号调用 Shell 命令

调用 wc -l 命令统计使用 bash 的用户个数

[root@localhost ~]# awk -F: ‘/bash$/{print | “wc -l”}’ /etc/passwd

或

[root@localhost ~]# grep -c “bash$” /etc/passwd

调用 w 命令，统计在线用户数

• getline 函数：一次读取一行数据，若读取成功则返回值 1，若读取失败则返回值 -1，若遇到文件结束(EOF)，则返回值 0。

[root@localhost ~]# awk ‘BEGIN {while (“w”|getline)n++;{print n-2}}’

调用 hostname，并输出当前主机名

[root@localhost ~]# awk ‘BEGIN {“hostname”|getline;print $0}’

4）printf 的使用

• 格式：printf "格式"，列表1，列表2 …

特征：

• A：必须指定 format(格式)，用于指定后面 item(列表) 的输出格式。

• B：printf 语句不会自动打印 \n(换行符)。

• C：format 格式以 % 加一个字符。

| 格式 | 作用 |

| — | — |

| %c | 显示字符的 ASCII 码 |

| %d 或 %i | 十进制整数 |

| %f | 显示浮点数（小数） |

| %s | 显示字符串 |

| %u | 无符号整数 |

| %% | 显示 % |

• d：修饰符；N：显示宽度；-：左对齐(默认是右对齐)；+：显示数值符号。

示例：

[root@localhost ~]# awk -F : ‘{printf “%-20s%-10d%-10s\n”,$1,$2,$7}’ /etc/passwd

[root@localhost ~]# awk -F: ‘BEGIN {printf “%-20s%-10s%-15s\n”,“UserName”,“ID”,“Shell”}{printf “%-20s%-10s%-15s\n”,$1,$3,$7}’ /etc/passwd

5）Awk 常见的模式类型

• 正则表达式(regexp)：awk -F : '/^r/{print $1}' /etc/passwd

• 表达式(expression)：值为非 0 或为非空是满足条件的，如 $1 ~/foo/ 或 $1 == "root"

输出普通用户

[root@localhost ~]# awk -F: ‘$3>=1000{print $1,$3,$7}’ /etc/passwd

输出 UID 在 10-100 之间的用户

[root@localhost ~]# awk -F: ‘$3+1<=99 && $3+1>=10{print $1,$3,$7}’ /etc/passwd

检查未初始化密码的用户

[root@localhost ~]# awk -F: ‘$2==“!!”{print $1,$2}’ /etc/shadow

6）匹配范围

查询 UID 为 3 到 10 之内的用户

[root@localhost ~]# awk -F: ‘$33,$310{print $1,$3,$7}’ /etc/passwd

[root@localhost ~]# awk -F: ‘$1==“root”,$1==“adm”{print $1,$3,$7}’ /etc/passwd

三、Awk 高级用法

=============================================================================

1.if-else 判断

---

• 语法：if (条件表达式) 命令 操作1;else 命令 操作2

输出第七列包含 bash，如果第一列是 root 打印 管理员，否则打印出第一列 和 普通用户

[root@localhost ~]# awk -F: ‘$7~“bash”{if ($1==“root”)print $1,“管理员”;else print $1,“普通用户”}’ /etc/passwd

输出普通用户的数量

[root@localhost ~]# awk -F: -v A=0 ‘{if ($3>=1000) A++}END{print A}’ /etc/passwd

使用 printf 打印

[root@localhost ~]# awk -F: ‘$7"bash$"{if ($1==“root”) printf “%-15s: %s\n”,$1,“管理员”;else printf “%-15s: %s\n”,$1,“普通用户”}’ /etc/passwd

2.while 循环

---

• 语法：while (条件){语句1;语句2; ...

循环打印前 3 列

[root@localhost ~]# head -3 /etc/passwd | awk -F : ‘{A=1;while (A<=3){print $A;A++}}’

[root@localhost ~]# head -3 /etc/passwd | awk -F: ‘{print $1"\n"$2"\n"$3}’

循环整行并打印出长度小于 4 的字段

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！

小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
]

[外链图片转存中…(img-NbeGLQJn-1713286775664)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！

[外链图片转存中…(img-JQu4JcIG-1713286775664)]

小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》

[外链图片转存中…(img-VTIqvirZ-1713286775665)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！