Shell 脚本之文本三剑客（awk）

目录

一、什么是AWK

1.1工作原理

1.2基本格式

1.3awk常见的内置变量

1.4BEGIN END

​编辑

1.5数组

1.5.1 访问、赋值数组元素

1.5.2 遍历数组

​编辑

1.6正则匹配

二、实验

三、面试题

---

一、什么是AWK

awk（语言）： 读取一行处理一行，

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。而awk比较倾向于将一行分成多个字段然后进行处理。AWK信息的读入也是逐行指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互 的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。

1.1工作原理

前面提到 sed 命令常用于一整行的处理,而 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。

1.2基本格式

awk  选项   '表达式（处理动作）'

选项：
-F 指定分隔符
-v 指定变量
-f 脚本

1.3awk常见的内置变量

awk 选项   '模式{print  }'

- FS :指定每行文本的字段分隔符，缺省为空格或制表符（tab）。与 “-F”作用相同  -v "FS=:"
- OFS：输出时的分隔符
- NF：当前处理的行的字段个数
- NR：当前处理的行的行号（序数）
- $0：当前处理的行的整行内容
- $n：当前处理行的第n个字段（第n列）
- FILENAME:被处理的文件名
- RS：行分隔符。awk从文件上读取资料时，将根据RS的定义就把资料切割成许多条记录，
而awk一次仅读入一条记录进行处理。预设值是\n

awk ‘{print   $1}’  awk 内置变量 和 shell环境中的变量可能会有冲突 单引号的作用是不识别变量

NF显示字段个数

倒数第一列  $NF

倒数第二列 $(NF-1)

NR显示行号

1.4BEGIN END

BEGIN END 主要用于调整格式

BEGIN{}：仅在开始处理文件中的文本之前执行一次

END{}：仅在文本处理完成之后执行一次

1.5数组

awk数组特性：

• awk的数组是关联数组(即key/value方式的hash数据结构)，索引下标可为数值(甚至是负数、小数等)，也可为字符串 1. 在内部，awk数组的索引全都是字符串，即使是数值索引在使用时内部也会转换成字符串 2. awk的数组元素的顺序和元素插入时的顺序很可能是不相同的

• awk数组支持数组的数组

1.5.1 访问、赋值数组元素

索引可以是整数、负数、0、小数、字符串。如果是数值索引，会按照CONVFMT变量指定的格式先转换成字符串

例子：

1.5.2 遍历数组

格式：
for(var in array) {for-body}

1.6正则匹配

/regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来

例子

awk   '/^UUID/{print $1}'     /etc/fstab

 

二、实验

提取ens33 的ip地址

打印偶数行

打印奇数行

提取ip地址和时间

三、面试题

1.统计/etc/fstab文件中每个文件系统类型出现的次数 1

2.统计/etc/fstab文件中每个真单词出现的次数

 3.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

4.提取主机名并放入原文件 test.txt

http://mail.kgc.com/index.html

http://www.kgc.com/test.html

http://study.kgc.com/index.html

http://blog.kgc.com/index.html

http://www.kgc.com/images/logo.jpg

http://blog.kgc.com/20080102.html

http://www.kgc.com/images/kgc.jpg

5.查出/tmp/的权限，以数字方式显示

6.查出用户UID最大值的用户名、UID及shell类型