文本三剑客之——Awk

Awk简介

• Awk是一个功能强大的编辑工具，用于在Linux/UNIX 下对文本和数据进行处理。
• 数据可以来自一个或多个文件，也可以为其他命令的输出，常作为脚本来使用。
• 在执行操作时，Awk逐行读取文本，默认以空格为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，对比该行是否与给定的模式相匹配，并按模式或者条件执行编辑命令，也可从脚本中调用编辑指令过滤输出相应内容。
• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

Awk语法格式

• 第一种：awk 【选项】 ‘模式或条件 {编辑指令}’ 文件1 文件2

• 第二种：awk -f 脚本文件 文件1 文件2

• awk -F"分隔符" ‘条件 {print $0,$2,$NF}’ 文件。。。

• 条件：按行号 NR==xx,(>,>=,<,<=,) 也可以使用 （&& 与 ， || 或， ！非。）

• 按内容 /字符串/ 或 /正则表达式/ 或$n==”字符串“，

  • !=：不等于
  • ~：包括
  • !~：不包括
  • <，<=，>，>=，!=，分别为小于，小于等于，大于，大于等于，不等于。

在Awk语句中，模式部分决定何时对数据进行操作，若省略则后续动作时刻保持执行状态，模式可以为条件语句、复合语句或正则表达式等。每条编辑指令可以包含多条语句，多条语句之间要使用分号或者空格分隔的的多个{}区域。常用选项 -F 定义字段分隔符，默认以空格或者制表符作为分隔符。

Awk常见内置变量

Awk提供了很多内置变量，经常用于从处理文本。

变量	描述
FS	指定每行文本的字段分隔符
NF	当前处理的行的字段个数
NR	当前处理的行的行号（序数）
$0	当前处理的行的整行内容
$n	当前处理行的第n个字段（第n列）
FILENAME	被处理的文件名
RS	行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’

Awk实例演示

按行输出文本

awk ’{print $0}‘ 或 awk ‘{print}’ ##全行输出

awk ‘NR==a{print}’##输出指定行a
awk 'NR=='a,NR==b{print} ##指定输出行a到行b之间的所有行
awk ‘NR==a || NR==b{print}’ ##指定输出行a和行b

awk ‘(NR%2)==1{print}’ ##输出所有奇数行的内容
awk ‘(NR%2)==0{print}’ ##输出所有偶数行的内容

awk ‘/字符串/{print}’ ##输出所有包含字符串的行
awk ‘/正则表达式/{print}’ ##输出所有正则匹配到的行

BEGIN模式和END模式

BEGIN模式：在处理指定文本之前，需要先执行BEGIN模式中指定的动作；awk在处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句。
例：
利用awk统计passwd文件中以/bin/bash结尾的行数。
awk ‘BEGIN {a=0};//bin/bash$/ {a++};END {print a}’ /etc/passwd

按字段输出文本

awk -F: ‘{print $1}’ ##-F设置分割符为：然后输出第一列内容

awk -F: ‘{print $1，$3}’ ##-F设置分割符为：然后输出第一列和第三列内容

awk -F “:” ‘$3<5{print $1,$3}’ /etc/passwd #输出第3个字段的值小于5的第1、3个字段内容

awk -F “:” ‘!($3>8){print}’ /etc/passwd #输出第3个字段的值不大于8的行

分隔符的另一种设置方式：BEGIN {FS=字符}，用 if 语句进行条件判断时需要再外边在加一个大括号{}

awk ‘{三元运算符表达式；{操作}}’ ##awk也可以使用三元表达式

三元运算符表达式：条件表达式？值1：值2；##满足条件表达式取值1不满足则取值2

awk -F “:” ‘{print NR,$0}’ ##输出每行内容和行号，每处理完一条记录，NR值加1

awk -F： ‘$7~“bash” {print}’ ##输出第七列包含bash字符串的行

NF表示本行长度，再第一列中包含root字符&&同时NF==7表示长度为7，满足要求的行输出

通过管道，双引号调用shell命令

RS可以修改行分隔符

{print | “wc -l”} ##管道命令可以加到大括号里面，要加双引号

计算当前内存使用百分比

查看当前Cpu空闲率

date 的用法

date -d 指计算日期
month 控制月 1就是加一月 -1就是减一月
day 控制天 同month

getline的用法

当getline左右有重定向符“<”或“|”时，getline表示将传过来的内容进行分行，可以让awk每一行的去读取操作。

当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。

NR与FNR的区别

OFS
$1=$1 是用来激活$0的重新赋值,也就是说 字段$1…和字段数NF的改变会促使awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做
在没重新赋值前$0没有变化

awk数组

PS1：BEGIN中的命令只执行一次
PS2：awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

用awk数组去重

每一行字符串都定义为一个下标每次执行到相同字符串的行下标的值就会+1这样就可以知道有多少重行了