Linux Shell脚本文本三剑客之AWK

目录

Linux Shell脚本文本三剑客之AWK 

一、AWK

AWK工具介绍

AWK命令的基本格式

AWK工作原理

二、实例

打印文本内容

根据 $n 提取字段

根据选项 -F 指定分隔符

根据关键字提取所在行

使用BEGIIN输出包含指定字符的行并统计有多少行 

 FS 列分隔符提取

NF  

 三、实战

 统计/etc/fstab文件中的每个文件系统类型出现的次数

提取主机名并放入原文件 

 统计/etc/fstab文件中每个单词出现的次数

提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字 

---

Linux Shell脚本文本三剑客之AWK 

一、AWK

AWK工具介绍

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具

可以在无交互的模式下实现复杂的文本操作

相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据

AWK命令的基本格式

awk  [选项]  '模式条件{操作}'   文件1   文件2

awk  -f  |  -v  脚本文件  文件1  文件...

AWK工作原理

前面提到sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理，且默认情况下字段的分隔符为空格或tab键。awk 执行结果可以通过print的功能将字段数据打印显示

在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方

awk后面接两个单引号并加上大括号{ }来设置想要对数据进行的处理操作，awk可以处理后续接的文件，也可以读取来自前个命令的标准输

常见的内建变量（可以直接用）

FS∶ 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

NF∶ 当前处理的行的字段个数

NR∶ 当前处理的行的行号（序数）

$0∶当前处理的行的整行内容

$n∶ 当前处理行的第n个字段（第n列）

FILENAME∶ 被处理的文件名

RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是 '\n'

二、实例

打印文本内容

awk可以自动将多个空行压缩成一个空格

打印字符串需要加双引号

例：打印磁盘已经使用情况

例：打印字符串

 例：打印字符串确认文件有多少行

根据 $n 提取字段

例：提取 IP 地址

$n，代表提取第几列

例：提取MAC地址 

根据选项 -F 指定分隔符

例：打印 /etc/passwd 所有用户名

例：打印多列内容

打印时逗号可以表示空格，如果使用 ": " 或者 "+" ，需要将特殊符号加上双引号当成字符串打印

例：打印磁盘已经使用情况，去除 %

例：取出文本的IP地址及时间

根据关键字提取所在行

例：提取/etc/passwd 以root 开头的行

例：提取/etc/passwd root所在的行

例：提取/etc/passwd nologin结尾的行

以/sbin/nologin结尾的行（需要使用转义符 \ 转义 /）

 例：提取IP地址

使用BEGIIN输出包含指定字符的行并统计有多少行 

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作

awk再处理指定的文本，之后再执行END模式中指定的动作

END{ } 语句块中，往往会放入打印结果等语句

 FS 列分隔符提取

NF  

例：当前处理的行的字段个数

 例：打印出每行最后一个字段

例：打印出每行倒数第二个字段 

 NR ：

例：当前处理的行的行号

 例：NR == 代表行号等于什么

例：NR%2==0 取偶数行 

例：NR%2==1取奇数行 

例：NR==1，NR==4 取区间行 

例：取UID数值范围$n>1000

 三、实战

 统计/etc/fstab文件中的每个文件系统类型出现的次数

提取主机名并放入原文件 

 统计/etc/fstab文件中每个单词出现的次数

提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字