awk~Shell工具

1.awk工作原理

       逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。

在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”； 

还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式如下：

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …

awk常见的内建变量（可直接用）

2.awk命令操作演示

2.1按行输出文本

awk '{print}' awk.sh  #按行输出所有内容

awk '{print $0}' awk.sh  #按行输出所有内容

awk 'NR==1,NR==3{print}' awk.sh   #输出1~3行的内容

awk '(NR>=1)&&(NR<=3){print}' awk.sh   #输出1~3行的内容

整行内容

awk '{print}' 文件名
等于
awk '{print $0}' 文件名    $0代表当前处理行的整行内容

 输出部分行内容

awk 'NR==1{print $0}' /etc/passwd    #查看第1行的内容
 
awk 'NR==1,NR==3{print $0}' /etc/passwd    #查看第1到3行的内容
等于
awk '(NR>=1)&&(NR<=3){print $0}' /etc/passwd   #查看1到3行的内容

奇数偶数行的输出

 awk '(NR%2)==0{print $0}' 1.sh  #打印偶数行
 awk '(NR%2)==1{print $0}' 1.sh  #打印奇数行

 eg:

 awk '{getline;print $0}' 1.sh  #打印偶数行
awk '{print $0;getline}' 1.sh  #打印奇数行

字符串/正则表达式

 

 2.2 BEGIN模式演示操作

1. awk 'BEGIN {...}; 条件{...}； END {...}' 文件
2. BEGIN {...}  #表示处理文件前执行的操作
3. 条件{...}   #表示对匹配满足指定条件的文件行内容要执行的操作
4. END {...}  #表示处理完文件所有行内容后要执行的操作
6. 例：
7. awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd        
8. #统计以/bin/bash 结尾的行数，等同于 grep -c  "/bin/bash$"  /etc/passwd

 BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句.

1. awk 'BEGIN{x=0};/nologin$/{x++};END{print x}' /etc/passwd
2. 效果等于
3. grep -c "nologin$" /etc/passwd
4. #打印/etc/passwd中以nologin为结尾出现的次数

 awk 'BEGIN{x=0};/nologin$/{x++;print x,$0};END{print x}' /etc/passwd
等于
awk 'BEGIN{x=0};/nologin$/{x++};{print x,$0};END{print x}' /etc/passwd
打印/etc/passwd中以nologin为结尾的行数内容及总出现的行数

 2.3 按字段输出文本演示操作

awk -F: '/bash$/{print $1}' /etc/passwd  #打印以bash结尾行的第一个字段
awk -F: '/bash$/{print $1,$3}' /etc/passwd  #输出多个列时，以“，”进行分隔

 

 awk -F: '/bash$/{print $1":"$3}' /etc/passwd  #打印多个列，可以使用“指定分隔符”

1.  NF：默认显示每行字段列数
2. $NF: 当前所在行的最后一个字段

 

 

（1）实现条件或控制语句操作

  awk '{控制语句条件 {操作}}' 文件

 awk '{if(条件表达式) {操作}}' 文件  #行内容满足if的条件则执行操作
 

三元运算符

变量=条件表达式？值1：值2； {操作}  #行内容是否满足条件表达式，如满足取值1，否则取值2

 若uid小于等于gid，输出uid；否则输出gid，并打印所在行内容

while循环操作方法

awk 'BEGIN{执行循环前的操作; while（“命令” | getline) 每次循环的操作; 执行循环后的操作}'
#使用while循环对每行内容操作
getline：每获取行并自动跳到下一行

 

 ~代表包含
awk -F: '$1~"root" {print $0}' /etc/passwd  #打印第一个字段包含"root"的行内容 
awk -F: '/root/ {print $0}' /etc/passwd  #打印只要包含“root”的行内容

 

 RS行分隔符

awk作替换(ofs:输出的分隔符)

echo a b c d |awk 'BEGIN{OFS=":"};{print $0;$1=$1;print $0}'  #OFS输出分隔符为”：“，$1=$1是 激活$0的一种方式
等于
echo a b c d | tr " " ":"

2.4 awk命令的数组操作

注：
2.BEGIN中的命令只执行依次
1.awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

awk '{a[$1]++}; END{for(i in a) {print i,a[i]}}' test.txt
 
awk '{a[$1]++} test.txt #$1代表test.txt文件中的第一个字段，++自加1；
END{for(i in a)  #使用i变量遍历a数组所有的下标
{print i,a[i]}}  #输出所有下标及下标值

 

 3.awk常用筛选数据实例

1.统计日志文件里IP出现的次数并加入黑名单

awk '/Failed password/{a[$11]++}; END{for(i in a) if(a[i]>5){print "ssh:"i}}' /var/log/secure >> /etc/hosts.deny
{a[$11]++};  #$11为文件第十一行所有出现的ip地址，通过++收集一共出现多少次
END{for(i in a)  #定义i变量遍历a，a为下标$11,
if(a[i]>5){print "ssh:"i}}' >> /etc/hosts.deny  #if判断，若出现大于等于5次以ssh：IP地址格式打印出来重定向输出到/etc/hosts.deny

2.awk换算内存使用率

free | awk '/Mem:/{print int($3/$2*100)"%"}'

3.获取top命令中cpu使用率

先获取top命令的CPU空闲率，再通过计算得到CPU使用率

top -b -n1 | awk -F, '/%Cpu\(s\)/{print$4}' | awk '{print 100-$1"%"}'

 4.计算磁盘使用率及空闲率

df | grep -w "/" | awk '{print $5}'  #磁盘使用率
df | grep -w "/" | awk '{print 100-$5"%"}'  #磁盘空闲率

5.平均负载获取

1. uptime | awk -F, '{print $3}' | awk '{print $3}'  #五分钟平均负载
2. uptime | awk -F, '{print $4}'  #十分钟平均负载
3. uptime | awk -F, '{print $NF}'  #十五分钟平均负载

6.获取IP地址

ifconfig eth0 | awk 'NR==2{print $2}'
 

7.获取入站流量和出站的流量

ifconfig eth0 | awk '/RX packets/{print $0}' #获取入站的流量
ifconfig eth0 | awk '/RX packets/{print $5}' #获取出站的流量