目录
前言
在 Shell 编程的世界里，正则表达式与文本处理器是两大不可或缺的利器。正则表达式（Regular Expression，简称 RE）作为一种强大的字符串匹配工具，能够通过特定的字符组合来描述和匹配一系列符合特定规则的字符串。它不仅在脚本编程中扮演着重要角色，还是文本编辑器及多种程序设计语言中的核心功能之一。
本章将深入探讨正则表达式的定义、用途及其基础与扩展用法。通过具体的示例，你将会学习如何利用正则表达式快速查找、删除、替换文本中的特定字符串，从而提升文本处理的效率与准确性。
此外，文本处理器在 Shell 编程中同样占据着举足轻重的地位。grep、sed、awk 作为 Shell 编程中的“三剑客”，各自拥有独特的优势与广泛的应用场景。本章将详细介绍这些工具的使用方法，包括基本的文本搜索、复杂的文本替换、格式化的文本输出等，助你轻松应对各种文本处理需求。
通过本章的学习，你将掌握正则表达式与文本处理器的精髓，为编写高效、灵活的 Shell 脚本打下坚实的基础。无论你是系统管理员、开发人员还是数据分析师，这些技能都将成为你工具箱中的宝贵财富。
一、正则表达式
之前学习了 Shell 脚本的基础用法，已经可以利用条件判断、循环等语句编辑 Shell 脚本。接下来我们将开始介绍一个很重要的概念——正则表达式（Regular Expression，RE）。
下面先来了解一下正则表达式的定义及用途。
1.正则表达式的定义
正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说，是一种匹配字符串的方法。
通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。
正则表达式是由普通字符与元字符组成的文字模式。模式用于描述在搜索文本时要匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。其中：
-
普通字符包括大小写字母、数字、标点符号及一些其他符号。
-
元字符则是指那些在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式。
正则表达式一般用于脚本编程与文本编辑器中。很多文本处理器与程序设计语言均支持正则表达式，例如：
-
Linux 系统中常见的文本处理器（grep、egrep、sed、awk）。
-
应用广泛的编程语言（如 Python）。
正则表达式具备很强的文本匹配功能，能够在文本海洋中快速高效地处理文本。
2.正则表达式用途
对于一般计算机用户来说，由于使用到正则表达式的机会不多，所以无法体会正则表达式的魅力，而对于系统管理员来说，正则表达式则是必备技能之一。
系统管理中的应用
系统运行过程中会产生大量信息，其中有些是关键信息（如“用户账号登录失败”“服务启动失败”），有些仅是日志通知。系统管理员需要快速定位重要信息，而正则表达式可以高效提取“有问题”的数据，使运维工作更简单、方便。
邮件服务器过滤
许多软件支持正则表达式，例如邮件服务器（如 postfix）。在互联网中，垃圾邮件和广告邮件会消耗带宽。通过在服务器端使用正则表达式匹配邮件标题、内容或特定字符串，可以提前过滤问题邮件，减少客户端不必要的流量消耗。
其他服务器软件
除邮件服务器外，许多服务器软件也支持正则表达式。虽然这些软件具备正则匹配功能，但具体的字符串对比规则需要由系统管理员配置。因此，掌握正则表达式是系统管理员的核心技能之一。
二、基础正则表达式
正则表达式的字符串表达方法根据不同的严谨程度与功能分为基本正则表达式与扩展正则表达式。基础正则表达式是常用正则表达式最基础的部分。在 Linux 系统中常见的文件处理工具中 grep 与 sed支持基础正则表达式，而 egrep 与 awk 支持扩展正则表达式。掌握基础正则表达式的使用方法，首先必须了解基本正则表达式所包含元字符的含义，下面通过 grep 命令以举例的方式逐个介绍。
1.基础正则表达式示例
下面的操作需要提前准备一个名为text.txt的测试文件。文件具体内容如下：
(1)查找特定字符
查找特定字符非常简单，如执行以下命令即可从 test.txt 文件中査找出特定字符“the”所在位置。其中“-n”表示显示行号、“-ì”表示不区分大小写。命令执行后，符合匹配标准的字符，字体颜色会变为红色(本章中全部通过加粗显示代替)
若反向选择，如查找不包含“the”字符的行，则需要通过 grep 命令的“-v”选项实现，并配合“-n”
一起使用显示行号。
(2)利用中括号“[]”来查找集合字符
想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时査找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符，都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。
若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。
(3)查找行首“^”与行尾字符“$”
基础正则表达式包含两个定位元字符:“^”(行首)与“$”(行尾)。在上面的示例中，査询“the”字符串时出现了很多包含“the”的行，如果想要査询以“the”字符串为行首的行，则可以通过“^”元字符来实现。
[root@localhost ~]# grep -n '^the' test.txt
4:the tongue is boneless but it breaks bones.12!查询以小写字母开头的行可以通过“^[a-z]”规则来过滤，査询大写字母开头的行则使用“^[A-Z]”规则，若查询不以字母开头的行则使用“^[^a-zA-Z]”规则。
root@localhost ~# grep-n '^a-ztest.txt
1:he was short and fat, 4:the tongue is boneless but it breaks bones.12!
5:google is the best tools for search keyword. 8:a wood cross!
[root@localhost ~]# grep -n'^[A-Z]' test.txt2:He was wearing a blue polo shirt with black pants. 3:The home of Football on BBcSport online. 6:The year ahead will test our political establishment to the limit.7:PI=3.1415926535897932384626433832499014299:Actions speak louder than words
13:AxyzxyzxyzxyzC
14:I bet this place is really spooky late at night!
15:Misfortunes never come alone/single. 16:I shouldn't have lett so tast.
[root@localhost ~]# grep -n'^[^a-zA-Z]test.txt
11:#woood #
12:#wo0o000od #“^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]”符号外则代表定位行首。反之，若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如，执行以下命令即可实现查询以小数点(,)结尾的行。因为小数点(,)在正则表达式中也是一个元字符(后面会讲到)，所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。
[root@localhost ~]# grep -n'.$'test.txt
1:he was short and fat. 2:He was wearing a blue polo shirt with black pants. 3:Thehome of Football on BBc Sport online. 5:google is the best tools for search keyword6:The year ahead will test our political establishment to the limit. 15:Misfortunesnever come alone/single.16:I shouldn't have lett so tast.当查询空白行时，执行“grep-n'^$'test.txt”命令即可
[root@localhost ~]# grep -n
test.txt
10:(4)查找任意一个字符“.”与重复字符“*”
前面提到，在正则表达式中小数点(.)也是一个元字符，代表任意一个字符。例如执行以下命令就
可以査找“w??d”的字符串，即共有四个字符，以w开头 d 结尾。
[root@localhost ~]# grep -n'w..d' test.txt5:google is the best tools for search keyword.8:a wood cross!
9:Actions speak louder than words在上述结果中,“wood”字符串“w..d”匹配规则。若想要査询 00、000、o0000 等资料，则需要使用星号(*)元字符。但需要注意的是,“*”代表的是重复零个或多个前面的单字符。“o*”表示拥有零个(即为空字符)或大于等于一个“o”的字符，因为允许空字符，所以执行“grep-n'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 。必须存在，第二个。则是零个或多个 。，所以凡是包含 0、00、000、000，等的资料都符合标准。同理，若査询包含至少两个 。 以上的字符串，则执行“grep -n'o0o*'test.txt”命令即可。
[root@localhost ~]# grep -n'ooo*' test.txtkeyword. 8:a wood cross!11:#woood #
3:The home of Football on BBc Sport online. 5:google is the best tools for search
12:#wo000000d #
14:I bet this place is really spooky late at night!査询以 w 开头 d 结尾，中间包含至少一个 o的字符串，执行以下命令即可实现。
[root@localhost ~]# grep -n'woo*d' test.txt
8:a wood cross!
11:#woood #
12:#wooo0oood #执行以下命令即可查询以w开头 d 结尾，中间的字符可有可无的字符串
[root@localhost ~]# grep -n'w.*d' test.txt1:he was short and fat, 5:google is the best tools for search keyword. 8:a wood cross!9:Actions speak louder than words
11:#woood #
12:#wo00000od #执行以下命令即可查询任意数字所在行
[root@localhost ~]# grep -n'[0-9][0-9]*' test.txt
4:the tongue is boneless but it breaks bones.12!(5)查找连续字符范围“{}”
在上面的示例中，使用了“.”与“*”来设定零个到无限多个重复的字符,如果想要限制一个范围内的重复的字符串该如何实现呢?例如，查找三到五个 o的连续字符，这个时候就需要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 she11 中具有特殊意义，所以在使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。“{}”字符的使用方法如下所示。
查询两个0的字符。
[root@localhost ~]# grep -n'o\{2\}'test.txt
3:The home of Football on BBc Sport online. 5:google is the best tools for searchkeyword. 8:a wood cross!11:#woood #
12:#woooooood #
14:I bet this place is really spooky late at night!查询以 w 开头以 d 结尾，中间包含 2~5 个0的字符串,
[root@localhost ~]# grep -n'wol{2,5\}d' test.txt
8:a wood cross!
11:#woood #查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上0的字符串。
[root@localhost ~]# grep -n'wol{2,\}d' test.txt
8:a wood cross!11:#woood #
12:#wo0000ood #2.元字符总结
通过上面几个简单的示例，可以了解到常见的基础正则表达式的元字符主要包括以下几个，如下表所示。
| 字符/语法 | 说明 |
|---|---|
\ | 转义字符，将下一个字符标记为特殊字符、原义字符或进行转义 |
^ | 匹配输入字符串的开始位置 |
$ | 匹配输入字符串的结束位置 |
* | 匹配前面的子表达式零次或多次 |
+ | 匹配前面的子表达式一次或多次 |
? | 匹配前面的子表达式零次或一次 |
. | 匹配除换行符（\n、\r）外的任何单个字符 |
[a-z] | 字符范围，匹配指定范围内的任意字符 |
{n} | 精确匹配前面的子表达式 n 次（n 为非负整数） |
{n,} | 至少匹配前面的子表达式 n 次（n 为非负整数） |
{n,m} | 最少匹配 n 次且最多匹配 m 次（n ≤ m，均为非负整数） |
\d | 匹配数字字符，等价于 [0-9] |
\D | 匹配非数字字符，等价于 [^0-9] |
\s | 匹配空白字符（包括空格、制表符、换页符等），等价于 [ \f\n\r\t\v] |
\S | 匹配非空白字符，等价于 [^ \f\n\r\t\v] |
\w | 匹配字母、数字、下划线，等价于 [A-Za-z0-9_] |
\W | 匹配非字母、数字、下划线，等价于 [^A-Za-z0-9_] |
\n | 匹配换行符 |
\f | 匹配换页符 |
\r | 匹配回车符 |
3.扩展正则表达式
通常情况下会使用基础正则表达式就已经足够了，但有时为了简化整个指令，需要使用范围更广的扩展正则表达式。例如，使用基础正则表达式査询除文件中空白行与行首为“#”之外的行(通常用于査看生效的配置文件)，执行“grep -v'^$’test.txt| grep -v'^#’”即可实现。这里需要使用管道命令来搜索两次。如果使用扩展正则表达式，可以简化为“egrep-v'^$|^#’test.txt”，其中，单引号内的管道符号表示或者(or)。
此外，grep 命令仅支持基础正则表达式，如果使用扩展正则表达式，需要使用 egrep或 awk 命令。awk 命令在后面的小节进行讲解，这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式，使用该命令可以搜索文件中的任意字符串和符号，也可以搜索一个或多个文件的字符串，一个提示符可以是单个字符、一个字符串、一个字或一个句子。
与基础正则表达式类型相同，扩展正则表达式也包含多个元字符，常见的扩展正则表达式的元字符主要包括以下几个，如下表所示。
| 元字符 | 作用 | 示例 |
|---|---|---|
| + | 重复一个或者一个以上的前一个字符 | egrep -n 'wo+d' test.txt 查询 "wood", "woodd", "woodoooood" 等字符串 |
| ? | 零或一个的前一个字符 | egrep -n 'bes?t' test.txt 查询 "bet" 或 "best" 字符串 |
| | | 使用或者（or）的方式找出多个字符 | egrep -n 'of|if|on' test.txt 查询 "of", "if" 或 "on" 字符串 |
| () | 查找“组”字符串 | egrep -n 't(a|e)st' test.txt 查询 "tast" 或 "test" 字符串 |
| ()+ | 辨别多个重复的组 | egrep -n 'A(xyz)+C' test.txt 查询开头是 "A"，结尾是 "C"，中间有一个以上 "xyz" 的字符串 |
三、文本处理器
1.sed工具
sed（Stream Editor）是 Linux/UNIX 系统中的一个强大文本处理工具，主要用于对文本进行非交互式的编辑（如删除、替换、添加、移动等）。它广泛应用于 Shell 脚本，实现自动化文本处理。
sed 工作流程
| 步骤 | 说明 |
|---|---|
| 读取 | sed 从输入流（文件、管道、标准输入）读取一行，存入模式空间（pattern space）。 |
| 执行 | 默认情况下，sed 命令在模式空间内按顺序执行，除非指定行范围。 |
| 显示 | 处理后的内容发送到输出端，模式空间清空，继续处理下一行，直到文件结束。 |
注意：默认情况下，sed 不会直接修改原文件，除非使用 -i 选项。
sed 基本语法：
sed [选项] '操作' 文件名
sed [选项] -f 脚本文件 文件名 常用选项
| 选项 | 说明 |
|---|---|
-e | 指定多个命令或脚本处理文本。 |
-f | 从脚本文件读取 sed 命令。 |
-n | 仅显示处理后的结果（通常与 p 操作配合使用）。 |
-i | 直接修改文件内容（慎用）。 |
-h | 显示帮助信息。 |
常用操作
| 操作 | 说明 |
|---|---|
a | 在当前行后追加一行内容。 |
i | 在当前行前插入一行内容。 |
c | 替换选定行的内容。 |
d | 删除选定行。 |
p | 打印选定行（通常与 -n 配合使用）。 |
s | 替换指定字符（如 s/old/new/g）。 |
y | 字符转换（如 y/abc/ABC/）。 |
用法示例：
（1）输出符合条件的文本（p表示正常输出）
[root@localhost ~]# sed -n 'p'test.txt
//输出所有内容,等同于 cat test.txt
he was short and fat, He was wearing a blue polo shirt with black pants. The homeof Footballon BBc Sport online.
….//省略部分内容
[root@localhost ~]# sed -n'3p'test.txt
//输出第 3 行
The home of Football on BBc Sport online.
[root@localhost ~]# sed -n'3,5p'test.txt
//输出 3~5 行
The home of Football on BBc Sport online.
the tongue is boneless but it breaks bones,12!
google is the best tools for search keyword.
[root@localhost ~]# sed -n'p;n' test.txt
//输出所有奇数行，n 表示读入下一行资料
he was short and fat, The home of football on BBc Sport online. google is the besttools for search keyword..//省略部分内容
[root@localhost ~l# sed -n 'n;p'test.txt//输出所有偶数行,n 表示读入下一行资料
He was wearing a blue polo shirt with black pants.
the tongue is boneless but it breaks bones.12!
The year ahead will test our political establishment to the limit..…..//省略部分内容
[root@localhost ~]# sed -n'1,5{p;n}' test.txt//输出第 1~5 行之间的奇数行(第 1、3、 5 行)he was short and fat, The home of Football on BBc Sport online. google is the besttools for search keyword.
[root@localhost ~]# sed -n'10,${n;p}' test.txt//输出第 10 行至文件尾之间的偶数行
#woood #
AxyzxyzxyzxyzC
Misfortunes never come alone/single. 在执行“sed -n'10,${n;p}'test.txt”命令时，读取的第 1 行是文件的第 10 行，读取的第 2行是文件的第 11 行，依此类推，所以输出的偶数行是文件的第 11 行、13 行直至文件结尾，其中包括空府
以上是 sed 命令的基本用法，sed 命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。
例如，以下操作是 sed 命令与正则表达式结合使用的示例。
[root@localhost ~]# sed -n'/the/p'test.txt
//输出包含 the 的行the tongue is boneless but it breaks bones.12!google is the best tools for search keyword. The year ahead will test our politicalestablishment to the limit.
[root@localhost ~l# sed -n'4,/the/p'test.txt//输出从第 4 行至第一个包含 the 的行
the tongue is boneless but it breaks bones.12!
google is the best tools for search keyword.
[root@localhost ~]# sed -n'/the/=' test.txt//输出包含 the 的行所在的行号,等号(=)用来输出行号
[root@localhost ~]# sed n '/^pI/p' test.txt
//输出以 PI 开头的行
PI=3.141592653589793238462643383249901429
郑州谓
[root@localhost ~]# sed -n'/[0-9]$/p'test.txt//输出以数字结尾的行
PI-3.141592653589793238462643383249901429
root@localhost ~]# sed -n'/<wood\>/p'test.txt//输出包含单词 wood 的行,<、\>代表单词边界
a wood cross!（2）删除符合条件的文本（d）
因为后面的示例还需要使用测试文件 test.txt，所以在执行删除操作之前需要先将测试文件备份。
以下示例分别演示了 sed 命令的几种常用删除用法。
下面命令中 n1 命令用于计算文件的行数，结合该命令可以更加直观地査看到命令执行的结果
[root@localhost ~]#nl test.txt sed '3d'
//删除第 3 行
1 he was short and fat. 2 He was wearing a blue polo shirt with black pants. 4 thetongue is boneless but it breaks bones.12!
5 google is the best tools for search keyword. 6 The year ahead will test our politicalestablishment to the limit.…
//省略部分内容
16
[root@localhost ~l# nl test.txtsed'3,5d
//删除第 3~5 行
1 he was short and fat, 2 He was wearing a blue polo shirt with black pants. 6 Theahead willtest ourpoliticalestablishment to the limit.yearPI=3.141592653589793238462643383249901429
8 a wood cross!….
//省略部分内容
[root@localhost ~]# nl test.txt sed '/cross/d'
//删除包含 cross 的行,原本的第 8 行被删除;如果要删除不包含 cross 的行,用!符号表示取反操作，如'/cross/!d'……
//省略部分内容
7 PI=3.141592653589793238462643383249901429
9 Actions speak louder than words
//省略部分内容
[root@localhost ~]# sed '/^[a-z]/d'test.txt
//删除以小写字母开头的行
He was wearing a blue polo shirt with black pants. The home of Football on BBc Sportonline. The year ahead will test our political establishment to the limit.PI=3.141592653589793238462643383249901429
Actions speak louder than words
#woood #
#wo0000ood #
AxyzxyzxyZxyzC
I bet this place is really spooky late at night!
Misfortunes never come alone/single.
I shouldn't have lett so tast.
17
[root@localhost ~]# sed '/\.$/d' test.txt
//删除以""结尾的行
the tongue is boneless but it breaks bones.12!
PI=3,141592653589793238462643383249901429
a wood cross!
Actions speak louder than words
#woood #
#woooooood #
AxyzxyzxyzxyzC
I bet this place is really spooky late at night!
[root@localhost ~]# sed '/^$/d' test.txt
//删除所有空行
he was short and fat, He was wearing a blue polo shirt with black pants. The homeof Football on BBc Sport online.
the tongue is boneless but it breaks bones.12!google is the best tools for search keyword. The year ahead will test our politicalestablishment to the limit, PI-3.141592653589793238462643383249901429
a wood cross!
Actions speak louder than words
#woood #
#woooooood #
AxyzxyzxyzxyzC
I bet this place is really spooky late at night!
Misfortunes never come alone/single.
I shouldn't have lett so tast.注意:若是删除重复的空行，即连续的空行只保留一个，执行“sed -e'/^$/{n;/^$/d}'test.txt”命令即可实现。其效果与“cat-s test.txt”相同，n 表示读下一行数据。
（3）替换符合条件的文本
在使用 sed 命令进行替换操作时需要用到s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项，常见的用法如下所示。
（4）迁移
sed 's/the/THE/' test.txt
//将每行中的第一个 the 替换为 THE
sed 's/l/L/2'test.txt
//将每行中的第 2 个 1 替换为L
sed 's/the/THE/g'test.txt
//将文件中的所有 the 替换为 THE
sed 's/o//g'test.txt
//将文件中的所有 o 删除(替换为空串)
sed 's/^/#/'test.txt
//在每行行首插入#号
sed "/the/s/^/#/'test.txt
//在包含 the 的每行行首插入#号
sed 's/$/E0F/' test.txt
//在每行行尾插入字符串 EOF
sed '3,5s/the/THE/g' test.txt
//将第 3~5 行中的所有 the 替换为 THE
郑州课
sed '/the/s/o/0/g'test.txt
//将包含 the 的所有行中的 o 都替换为 0符合条件的文本
（5）使用脚本编辑文件
使用 sed 脚本将多个编辑指令存放到文件中(每行一条编辑指令)，通过“-f”选项来调用。例如执行以下命令即可将第 1~5 行内容转移至第 17 行后。
sed '1,5{H;d};17G'test.txt
//将第 1~5 行内容转移至第 17 行后以上操作可以改用脚本文件方式:
[root@localhost ~]# vi opt.list
1,5H
1,5d
17G
[root@localhost ~l# sed-f opt.list test.txt
politicallimite.Theyearaheadwi11test。UrestablishmenttOthePI=3.141592653589793238462643383249901429
a wood cross!
Actions speak louder than words
#woood #
#wo0000ood #
AxyzxyzxyzxyzC
I bet this place is really spooky late at night!
Misfortunes never come alone/single.
I shouldn't have lett so tast, he was short and fat. He was wearing a blue polo shirtwith black pants. The home of Football on BBc sport online.the tongue is boneless but it breaks bones.12!google is the best tools for search keyword.（6）sed直接操作文件示例
编写一个脚本，用来调整 vsftpd 服务配置，要求禁止名用户，但允许本地用户(也允许写入)。
[root@localhost ~l# vim local only ftp.sh#!/bin/bash
#指定样本文件路径、配置文件路径
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET SITE/vsftpd.conf"CONFIG="/etc/vsftpd/vsftpd.conf"
#备份原来的配置文件,检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在，若不#存在则使用 cp 命令进行文件备份
[!-e"$CONFIG,bak"]&& cp $CONFIG $CONFIG.bak
#基于样本配置进行调整,覆盖现有文件
sed -e/^anonymous enable/S/YES/NO/g'$SAMPLE >$CONFIGsed -i -e/^local enable/s/N0/YES/g'-e '/^write enable/s/NO/YES/g' $CONFIGgrep "listen" $CONFIGsed -i'$alisten=YES' $CONFIG#启动 vsftpd 服务,并设为开机后自动运行systemctl restart vsftpdsystemctl enable vsftpd
[root@localhost ~l# chmod +x local only ftp.sh2.awk工具
在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 She11 脚本，完成各种自动化配置任务。
通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。
awk [选项] '模式 {动作}' 文件名
awk [选项] -f 脚本文件 文件名 前面提到 sed 命令常用于一整行的处理,而 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。在使用 awk 命令的过程中,可以使用逻辑操作符“&&”表示“与”、“|”表示“或”、“!”表示“非”还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
在 Linux 系统中/etc/passwd 是一个非常典型的格式化文件，各字段间使用“:”作为分隔符隔开,Linux 系统中的大部分日志文件也是格式化文件,从这些文件中提取相关信息是运维的日常工作内容之一。若需要査找出/etc/passwd 的用户名、用户 ID、组 ID 等列，执行以下 awk 命令即可。
[root@localhost ~]# awk -F':'"{print $l,$3,$4}'/etc/passwd
root 00
bin 1 1
daemon 22
…//省略部分内容 awk 从输入文件或者标准输入中读入信息,与 sed 一样,信息的读入也是逐行读取的。不同的是 awk将文本文件中的一行视为一个记录，而将一行中的某一部分(列)作为记录中的一个字段(域)。为了操作这些不同的字段，awk 借用 shel1 中类似于位置变量的方法，用$1、$2、$3…顺序地表示行(记录)中的不同字段。另外 awk 用$0 表示整个行(记录)。
不同的字段之间是通过指定的字符分隔。awk 默认的分隔符是空格。awk 允许在命令行中用“-F 分隔符”的形式来指定分隔符。在上述示例中，awk 命令对/etc/passwd 文件的处理过程如下图所示。
内置变量：
| 变量 | 说明 |
|---|---|
FS | 输入字段分隔符（默认空格/Tab），如 BEGIN{FS=":"}。 |
OFS | 输出字段分隔符（默认空格），如 BEGIN{OFS="-"}。 |
NF | 当前行的字段总数（列数），如 {print NF, $NF} 打印列数和最后一列。 |
NR | 当前处理的行号（从1开始），如 {print NR, $0} 显示行号和内容。 |
$0 | 当前行的完整内容。 |
$n | 当前行的第 n 个字段（列）。 |
FILENAME | 当前处理的文件名。 |
RS | 输入记录分隔符（默认换行符 \n）。 |
用法示例：
（1）按行输出文本
awk '{print}' test.txt
//输出所有内容,等同于 cat test.txt
awk '{print $0}' test.txt
//输出所有内容,等同于 cat test.txt
awk "NR==1,NR==3{print}' test.txt
//输出第 1~3 行内容
awk "(NR>=1)&&(NR<=3){print}" test.txt
//输出第 1~3 行内容
awk "NR==1||NR=-3{print}' test.txt
//输出第 1 行、第 3 行内容
awk(NR%2)==l{print}' test.txt
//输出所有奇数行的内容
awk "(NR%2)==0{print}" test.txt
//输出所有偶数行的内容
awk "/^root/{print}" /etc/passwd
//输出以 root 开头的行
awk "/nologin$/iprint}' /etc/passwd
//输出以 nologin 结尾的行
2
awk BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd//统计以/bin/bash 结尾的行数,等同于 grep-c"/bin/bash$"/etc/passwd
awk "BEGIN{RS=""};ENDiprint NR}" /etc/squid/squid.conf
//统计以空行分隔的文本段落数（2）按字段输出文本
awk '{print $3}' test.txt
//输出每行中(以空格或制表位分隔)的第 3 个字段
awk '{print $1l,$3}' test.txt
//输出每行中的第 1、3 个字段
awk -F":"'$2==""{print}' /etc/shadow//输出密码为空的用户的 shadow 记录
awK 'BEGIN {FS=":"};$2==""{print}' /etc/shadow//输出密码为空的用户的 shadow 记录
awk -F":"'$7~"/bash"{print $l}'/etc/passwd//输出以冒号分隔且第 7个字段中包含/bash 的行的第 1 个字段
awk '($1~"nfs")8&(NF==8){print $1,$2}" /etc/services//输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段
awk -F":"'($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd//输出第 7个字段既不为/bin/bash 也不为/sbin/nologin 的所有行（3）通过管道、双引导调用shell命令
awk -F:"/bash$/{print|"wc -l"}'/etc/passwd//调用 wc -1 命令统计使用 bash 的用户个数,等同于 grep -c"bash$"/etc/passwd
awk'BEGIN {while("w"lgetline)n++ ;{print n-2}}//调用w命令,并用来统计在线用户数
awk BEGIN{"hostname"lgetline ;print $0}//调用 hostname,并输出当前的主机名四、总结
通过本章的学习，我们深入了解了正则表达式与文本处理器在 Shell 编程中的重要性和实际应用。正则表达式作为一种强大的文本匹配工具，通过简洁的字符组合实现了复杂的字符串匹配与操作，极大地提高了文本处理的效率与灵活性。基础正则表达式和扩展正则表达式的介绍，使我们掌握了从简单到复杂的文本匹配技巧。
同时，我们也详细探讨了 sed 和 awk 这两个强大的文本处理工具。sed 以其简洁而强大的命令集，能够轻松实现文本的删除、替换、迁移等操作，是自动化脚本编写中不可或缺的一部分。而 awk 则以其强大的文本分析能力，能够灵活地对文本进行格式化输出和复杂的数据处理，是处理结构化文本数据的重要选择。
通过本章的实战演练，我们不仅学会了正则表达式与文本处理器的基本语法和使用方法，还通过具体示例加深了对这些工具的理解。这些技能不仅对于 Shell 编程至关重要，也是系统管理员、开发人员和数据分析师在日常工作中不可或缺的武器。掌握这些技能，将使我们能够更加高效地处理文本数据，提升工作效率，为未来的编程之路打下坚实的基础。
扫一扫
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
