文本三剑客之 awk 编辑器

一. awk 介绍

1.工作原理：

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。

awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

2.命令格式

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …

3.awk常见的内建变量

                        可直接用，不需要提前赋值
FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

NF：当前处理的行的字段个数。

NR：当前处理的行的行号（序数）。

$0：当前处理的行的整行内容。

$n：当前处理行的第n个字段（第n列）。

FILENAME：被处理的文件名。

RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,
而awk一次仅读入一条记录,以进行处理。预设值是'\n'

二.awk 用法实践

1.按行输出文本

BEGIN 模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语；

awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd		

#统计以/bin/bash 结尾的行数，等同于 grep -c "/bin/bash$" /etc/passwd

 awk 'BEGIN {...}; 条件{...}; END {...}'  文件
  BEGIN {...}   表示处理文件前要执行的操作
  条件{...}     表示对匹配满足指定条件的文件行内容要执行的操作
  END {...}     表示处理完文件所有行内容后要执行的操作

 2.按字段输出文本

awk -F '字段分隔符' '条件表达式 {操作}' 文件

 同行输出行号和行内容

 换行输出行号和行内容

拓展： 三元运算符

$3>$4)?$3:$4;三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max

 条件表达式 ？ 值1 ： 值2

 

 3.通过管道、双引号调用 Shell 命令

 获取当前CPU的使用率

 获取空闲率

当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。

当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

FNR：awk当前读取的记录数，其变量值小于等于NR（比如当读取第二个文件时，FNR是从0开始重新计数，而NR不会）。
NR==FNR：用于在读取两个或两个以上的文件时，判断是不是在读取第一个文件

$1=$1 是用来激活$0的重新赋值,也就是说 字段$1...和字段数NF的改变会促使awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做

PS1：BEGIN中的命令只执行一次
PS2：awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

拓展1：

awk '{控制语句条件 {操作}}' 文件

awk 'if(条件表达式) {操作}' 文件                  #行内容满足if的条件则执行操作

awk '变量=条件表达式?值1:值2; {操作}' 文件        

#行内容是否条件表达式，如果条件成立则变量取值1，条件不成立则变量取值2
   

awk 'BEGIN{执行循环前的操作; while("命令" | getline) 每次循环的操作; 执行循环完后的操作}'     #使用while循环对每行内容执行操作

 拓展2：

cat test.txt
aaa
aaa
bbb
ccc
aaa
bbb
aaa

awk '{a[1]++}END{for(i in a){print a[i]}}' test.txt

PS：a[1]初始为0，a[1]++后即为1，而这里awk中的a[1]++最终的值是由test.txt文本内容有多少行决定的，文本逐行读取完毕后再执行END中的命令

awk '{a[$1]++}END{for(i in a){print a[i],i}}' test.txt | sort -r

使用awk 统计 httpd 访问日志中每个客户端IP的出现次数?
答案:
# awk '{ip[$1]++}END{for(i in ip){print ip[i],i}' /var/log/httpd/access_log | sort -r
备注:定义数组，数组名称为ip，数字的下标为日志文件的第1列（也就是客户端的IР地址)，++的目的在于对客户端进行统计计数，客户端IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

总结：

awk -F '字段分隔符' 'NR==n {print $0}'           #输出 第n行的 整行内容
awk -F '字段分隔符' 'NR==n {print $1}'           #输出 第n行的 第一个字段的内容
awk -F '字段分隔符' 'NR==n {print $1,$NF}'       #输出 第n行的 第一个字段和最后一个字段的内容
awk -F '字段分隔符' 'NR==n,NR==M {print $1}'     #输出 第n行到第m行的 第一个字段的内容
awk -F '字段分隔符' 'NR>=n&&NR<=M {print $1}'        
awk -F '字段分隔符' 'NR==n||NR==M {print $1}'     #输出 第n行和第m行的 第一个字段的内容
awk -F '字段分隔符' '/字符串/ {print $1}'         #输出 包含指定字符串的行的 第一个字段的内容
awk -F '字段分隔符' '/正则表达式/ {print $1}'      #输出 匹配正则表达式的行的 第一个字段的内容
awk -F '字段分隔符' '$1>=n {print $0}'             #输出 第一个字段的数值大于等于n的 整行内容
                       == != >= > <= <
awk -F '字段分隔符' '$1~"字符串" {print $0}'       #输出 第一个字段包含指定字符串的 整行内容
                       ~(包含) !~(不包含) ==(等于) !=(不等于)

free | awk '/Mem:/{print int($3/$2*100)"%"}'            #内存使用率
top -b -n1 | awk -F, '/%Cpu\(s\)/{print $4}' | awk '{print 100-$1"%"}'    #CPU使用率
df | grep -w "/" | awk '{print $5}' | awk -F% '{print $1}'     #磁盘分区容量使用率

awk '/Failed password/{a[$11]++}; END{for(i in a) {print i, a[i]}}' /var/log/secure    

#通过awk数组统计日志文件里IP出现的次数

awk '/Failed password/{a[$11]++}; END{for(i in a) if(a[i]>5){print "sshd:"i}}' /var/log/secure >> /etc/hosts.deny      

#将出现超过5次的IP导入到黑名单里

awk '(NR%2)==1 {print $0}'     #输出奇数行
awk '{print $0; getline}'
sed -n 'p; n'

awk '(NR%2)==0 {print $0}'     #输出偶数行
awk '{getline; print $0}'
sed -n 'n; p'