AWK命令

目录

1.awk工作原理

二、BEGIN

三、字段输出

四、实现条件或控制语句

五、awk常用筛选

1、统计日志文件里IP出现的次数并加入黑名单

2、awk换算内存使用率

3、计算磁盘使用率及空闲率

---

1.awk工作原理

• 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
•     sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
•     在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；
•     还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …

常用命令

FS	列分隔符
NF	当前处理的行字段个数
NR	当前处理的行号
$0	读取行的所有内容
$n	处理行的第N个字段
RS	行分隔符

案列

NR

奇数 偶数的输出

awk '{getline;print $0}' 1.sh  #打印偶数行
awk '{print $0;getline}' 1.sh  #打印奇数行

getline 意思是滑倒下一行

一开始print$0是在1 上面  遇到getline 就滑倒下一行 就是2

反之

二、BEGIN

表达式

awk 'BEGIN {...}; 条件{...}； END {...}' 文件
BEGIN {...}  #表示处理文件前执行的操作
条件{...}   #表示对匹配满足指定条件的文件行内容要执行的操作
END {...}  #表示处理完文件所有行内容后要执行的操作
 
例：
awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd        
#统计以/bin/bash 结尾的行数，等同于 grep -c  "/bin/bash$"  /etc/passwd

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句.

三、字段输出

awk -F: '/bash$/{print $1}' /etc/passwd  #打印以bash结尾行的第一个字段
awk -F: '/bash$/{print $1,$3}' /etc/passwd  #输出多个列时，以“，”进行分隔

awk -F: '/bash$/{print $1":"$3}' /etc/passwd  #打印多个列，可以使用“指定分隔符”

NF：默认显示每行字段列数
$NF: 当前所在行的最后一个字段

!取反

四、实现条件或控制语句

格式

 awk '{if(条件表达式) {操作}}' 文件  #行内容满足if的条件则执行操作
 

同行输出行号和内容

换行输出行号和内容

~波浪号表示包含

总：

awk -F "字段分隔符"  'NR==n {print $0}'   文件   n等于几就输出第几行内容

awk -F "字段分隔符"  'NR==n,NR==M {print $1}'  文件       输出n-m行的第一个字段

awk -F "字段分隔符"  'NR==n {print $1;print NR}'  文件          输出第n行第一个字段和行号

awk -F "字段分隔符" 'NR==N || NR==M {print $0} ' 文件    输出第N行和第M行的所有内容

RS行分隔符

五、awk常用筛选

1、统计日志文件里IP出现的次数并加入黑名单

awk '/Failed password/{a[$11]++}; END{for(i in a) if(a[i]>5){print "ssh:"i}}' /var/log/secure >> /etc/hosts.deny
{a[$11]++};  #$11为文件第十一行所有出现的ip地址，通过++收集一共出现多少次
END{for(i in a)  #定义i变量遍历a，a为下标$11,
if(a[i]>5){print "ssh:"i}}' >> /etc/hosts.deny  #if判断，若出现大于等于5次以ssh：IP地址格式打印出来重定向输出到/etc/hosts.deny

2、awk换算内存使用率

free | awk '/Mem:/{print int($3/$2*10)0"%"}'

先获取top命令的CPU空闲率，再通过计算得到CPU使用率

获取静态的

top -b -n1

top -b -n1 | awk -F, '/%Cpu\(s\)/{print$4}' | awk '{print 100-$1"%"}'

3、计算磁盘使用率及空闲率

df | grep -w "/" | awk '{print $5}'  #磁盘使用率
df | grep -w "/" | awk '{print 100-$5"%"}'  #磁盘空闲率