Linux文本处理三剑客之awk报告生成器

目录

一，awk

1.概述

2.工作原理:

3.awk内置变量

4.其他内置变量

二，示例

awk运算：

模糊匹配：

数值与字符串的比较：

逻辑运算&& 与 || ：

三，awk的高级用法

1.定义引用变量

2.条件语句

四，其他示例

---

一，awk

1.概述

起源：20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk 之所以叫 AWK是因为其取了三位创始人 Alfred Aho，Peter weinberger, 和Brian Kernighan 的Family Name的首字符。

概述：AWK是一种处理文本文件的语言，是一个强大的文本分析工具。专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作，数据可以来自标准输入也可以是管道或文件

2.工作原理:

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出；如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

区别：
sed命令常用于一整行的处理；
awk比较倾向于将一行分成多个""字段"然后再进行处理。
awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。

在使用awk命令的过程中,可以使用逻辑操作符
"&":与
"||"：或
"! ": 非 
还可以进行简单的数学运算
如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式:

awk  选项  '模式或条件{操作}'  文件1  文件2  ...
awk -f  脚本文件   文件1   文件2 ..

格式: awk 关键字 选项 命令部分 '{XXX}' 文件名

3.awk内置变量

FS:指定每行文本的字段分隔符，默认为空格或制表位
NF:当前处理的行的字段个数【列数】
NR:当前处理的行的行号(序数)【行数】
$0:当前处理的行的整行内容【整行】
$1:第一列
$2:第二列
$n:当前处理行的第n个字段(第n列)
FILENAME:被处理的文件名

RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录，而awk一次仅读入一条记录,以进行处理。预设值是"\n'

简说:数据记录分隔，默认为\n，即每行为一条记录

[root@localhost ~] # awk '{print} ' A(文件名)
root:x:0:0:root:/root:/bin/bash
bin:x:1:l:bin:/bin:/sbin/nologin44

[root@localhost ~] # awk ' {print $1} ' A
root:x:0:0:root:/root:/bin/bash 
#awk默认把这一行当做一列，因为没有被空格分隔，awk默认以空格或tab键分隔

4.其他内置变量

其他内置变量的用法FS、OFS、NR、FNR、RS、ORS
OFS:定义了输出时以什么分隔
RS:指定以什么为换行符;指定的肯定是原文里存在的字符
ORS:把多行合并成一行输出


awk 'BEGIN{FS=":"}{print $1}' pass.txt
#在打印之前定义字段分隔符为冒号

awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' pass.txt
#OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，
因为逗号默认被映射为DFS变量，而这个变量默认是空格
root-—-x
bin--—x

awk 'BEGIN{RS=":" }{(print $0}' /etc/passwd
#RS:指定以什么为换行符，这里指定是冒号
指定的肯定是原文里存在的字符

awk 'BEGIN{ORS=" "}{print $0}' /etc/passwd
#把多行合并成一行输出，输出的时候自定义以空格分隔每行，
本来默认的是回车键

二，示例

awk -F: '{print $5}' /etc/passwd/
#自定义冒号为分隔符显示分隔之后的第五列

awk -Fx '{print $1} ' /etc/passwd/
用x作为分隔符

awk '{print $1 $2}' A

awk -F: '{print $1""$2}' zz
#显示一个空格，空格需要用双引号引起来，如果不用引号默认以变量看待，如果是常量就需要双引号引起来
 
awk '{print $1,$2}' zz│/逗号有空格效果

awk -F: '{print $1"\t"$2}'/etc/passwd
#用制表符(Tab)作为分隔符输出

awk -F[:/] '{print $9}' zz
定义多个分隔符，只要看到其中一个都算作分隔符



awk -F: '/root/{print $0}' pass.txt
#打印包含root的整行内容

awk -F: '/root/{print $1}' pass.txt

awk -F: '/root/{print $1,$6}' pass.txt

awk '/root/' /etc/passwd

awk -F[:/] '{print NF} ' zz
#打印每一行的列数

awk -F[:/] '{print NR}' zz
#显示行号



awk -F: '{print NR} ' pass.txt
#打印行数
awk -F: '{print NR,$0 } ' pass.txt
#打印行数及每行对应的内容

awk 'NR==2'/etc/passwd
#打印第二行，不加print也一样，默认就是打印

awk 'NR==2{print}' /etc/passwd
#同上效果
awk -F:'NR==2{print $1}' /etc/passwd
#打印第二行的第一列
awk -F: '{print $NF}' /etc/passwd
#打印最后一列

awk 'END{print NR}' /etc/passwd
#打印总行数
awk 'END{print $0}' /etc/passwd
#打印文件最后一行
awk -F: '{print "当前行有"NF"列" }' zz
当前行有7列

awk -F: '{print "第"NR"行有"NF"列"}' /etc/passwd
#第几行有几列
第1行有7列
第2行有7列
第3行有7列

扩展生产:网卡的ip、流量
ifconfig ens33 | awk '/netmask/{print "本机的ip地址是"$2}'
#本机的ip地址是192.168.245.211

ifconfig ens33 | awk '/RX p/{print $5"字节"}
8341053字节            （字符串查找）

根分区的可用量
df -h | awk 'NR==2{print $4}'
45G

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END，BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次 END一般用来做汇总操作，仅在读取完数据记录之后执行一次

awk运算：

awk 'BEGIN{x=10;print x}'
#如果不用引号awk就当作一个变量来输出了，所以不需要加$了
awk 'BEGIN{x=10;print x+1}’
BEGIN在处理文件之前，所以后面不跟文件名也不影响
awk 'BEGIN{x=10; x++;print x}'
awk 'BEGIN{print x+1)'
#不指定初始值，初始值就为0，如果是字符串，则默认为空
awk 'BEGIN{print 2.5+3.5}'
#小数也可以运算
awk 'BEGIN{print 2-1}'
awk 'BEGIN(print 3*4}'
awk 'BEGIN(print 3**2 }'
awk 'BEGIN{print 2^3}'
#^和**都是幂运算1788
awk 'BEGIN{print 1/2 }'

模糊匹配：

模糊匹配，用～表示包含，!~表示不包含
awk -F: '$1~/root/' /etc/passwd
awk -F: '$1~/ro/'/etc/passwd
#模糊匹配，只要有ro就匹配上
awk -F: '$7!~/nologin$/{print $1,$7}'/etc/passwd

数值与字符串的比较：

比较符号:==   !=   <=   >=    <   >
awk 'NR==5{print}' /etc/passwd
#打印第五行
awk 'NR==5' /etc/passwd
awk 'NR<5' /etc/passwd
awk -F: '$3==o' /etc/passwd
#打印第三列为0的行
awk -F: '$1==root' /etc/passwd
awk -F: '$1=="root"' /etc/passwd

逻辑运算&& 与 || ：

awk -F: '$3<10 || $3>=1000' /etc/passwd
awk -F: '$3>10 && $3<1000' /etc/passwd
awk -F: 'NR>4 && NR<10' /etc/passwd
#打印第4-9行的内容

#打印1-200之间所有能被7整除并且包含数字7的整数数字
seq 200 | awk '$1%7==0 && $1~/7/'
7
70
147
175

三，awk的高级用法

1.定义引用变量

a=100
awk -v b="$a" 'BEGIN(print b)’
#将系统的变量a，在awk里赋值为变量b，然后调用变量b
awk 'BEGIN(print "'$a'")'
#直接调用的话需要先用双引号再用单引号
awk -vc=1 'BEGIN{print c}'
#awk直接定义变量并引用


调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行
df -h | awk 'BEGIN{getline}/root/{print $0}'
/dev/mapper/ centos-root 50G  5.2G  45G  11%/

seq 10 | awk '{getline;print $0}'
#显示偶数行
seq 10 | awk '{print $0;getline}'
#显示奇数行

2.条件语句

if语句: 
awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}

awk -F: '{if($3<10){print $0}}' /etc/passwd
#第三列小于10的打印整行

awk -F: '{if($3<10){print $3}else{print $1)}'/etc/passwd
#第三列小于10的打印第三列，否则打印第一列
awk还支持for循环、while循环、函数、数组等331

四，其他示例

awk 'BEGIN{x=0};/\/bin\/bash$/{x++;print x,$0};END{print x} ' /etc/passwd
#统计以/bin/bash结尾的行数
等同于
grep -c " /bin/bash$" /etc/passwd

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;
awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句
awk -F ":" '! ($3<200){print}' /etc/passwd
#输出第3个字段的值不小于200的行

awk 'BEGIN{FS=":"} ;{if($3>=1000)(print}} ' /etc/passwd
#先处理完BEGIN的内容，再打印文本里面的内容

awk -F ":" '{max=($3>=$4) ?$3:$4;{print max}}' /etc/passwd
#($3>$4)?$3:$4三元运算符，如果第3个字段的值大于等于第4个字段的值，
则把第3个字段的值赋给max，否则第4个字段的值赋给max

awk -F ":" '{print NR, $0}'/etc/passwd 
#输出每行内容和行号，每处理完一条记录，NR值加1
sed -n '=;p' /etc/passwd

awk -F":" '$7~"bash"{print $1}' /etc/passwd
#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awk -F: '/bash/{print $1}' /etc/passwd


awk -F":"'($1~"root") && (NF==7) {print $1,$2，$NF}' /etc/passwo
#第1个字段中包含root且有7个字段的行的第1、2个字段

awk -F ":"'($7!="/bin/bash") && ($7!="/sbin/nologin") {print}' /etc/passwd
#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

awk -F:'($NF !="/bin/bash")&&($NF !="/sbin/nologin") {print NR，$0}' passwd


通过管道、双引号调用shell命令:
echo $PATH | awk 'BEGIN{RS=":"};END{print NR)'
#统计以冒号分隔的文本段落数，ENDA{}语句块中，往往会放入打印结果等语句
echo $PATH | awk 'BEGIN{RS=":"}; {print NR,$0};END{print NR}'

awk -F: '/bash$/{print | "wc -l"}' /etc/paswd
#调用wc -l命令统计使用bash 的用户个数,等同于
grep -c "bash$" /etc/passwd
awk -F: '/bash$/{print}'passwd | wc -l

free -m |awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'
#查看当前内存使用百分比
free -m | awk '/Mem:/ {print $3/$2 }'
0.327869
free -m | awk /Mem:/ {print $3/$2*100}'
32.786938
free -m | awk '/Mem :/ {print int$3/$2*100}
free -m | awk '/Mem:/ {print int($3/$2*100)}'
32
free -m | awk '/Mem:/ {print int($3/$2*100)"%"}’
32%
free -m | awk '/Mem:/ {print $3/$2*100}' | awk -F. '{print $1 "%" }'


top -b -n1 | grep Cpu | awk -F ',' '{print $4}' | awk '{print $1}'
#查看当前CPU空闲率，(-b -n1表示只需要1次的输出结果)

date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago"+"%F %H:%M:%S"
#显示上次系统重启时间，等同于uptime; 
second ago为显示多少秒前的时间，+$”选日:3N:3s等同于+"3Y-n-%d
3日:8N:8s"的时间格式

date -d "s (awk -F "." '{iprint $1}' /proc/uptime) second ago"+"号F%H:%M:%S"
#显示上次系统重启时间，等同于uptime;second ago为显示多少秒前的时间，+"E悉日:N: :s"等同于+"&1-tm-d日:38:8s"的时间格式

awk 'BEGIN {n=0 ; while ("w" | getline) n++ ;{print n-2}}'
#调用w命令，并用来统计在线用户数

awk 'BEGIN { "hostname" | getline ; {print $0}}'
#调用hostname,并输出当前的主机名

当getline左右无重定向符"<"或"I"时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。

当getline左右有重定向符"<"或"T"时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。
seq 10 | awk ' {getline;print $0}'
seq 10 | awk ' {print $0;getline}'

CPU使用率:
cpu_us='top -b -n1 | grep Cpu | awk '{print $2}'
cpu_sy='top -b -n1 | grep Cpu | awk -F ',' '{print $2}' | awk '{print $1}'
cpu_sum=$(($cpu_us+$cpu_sy))
echo $cpu_sum


echo "A B C D" | awk '{OFS="|";print $0;$1=$1;print $0}'
A B C D
A/B1C|D
#$1=$1是用来激活$0的重新赋值，也就是说:字段$1...和字段数NF的改变会促使awk重新计算$o的值,通常是在改变OFS后而需要输出$0时这样做

echo "A B C D" | awk 'BEGIN{OFS="| "};{print $0;$1=$1;print $0}'
echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $1,$2}'
echo "A B C D" | awk 'BEGIN{OFS="|"};{$2=$2;print $1,$2}'

awk 'BEGIN{a[0]=10;a[1]=20;print a[1]}'
awk 'BEGIN{a[0]=10;a[1]=20;print a[0]}'
awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["abc"}'
awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["xyz"]}'
awk 'BEGIN{a["abc"]="aabbcc";a["xyz"]="xxyyzz"; print a[ "xyz"]}'
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}'
Ps1:BEGIN中的命令只执行一次
Ps2:awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号


统计tcp的连接次数：
netstat -an | awk '/^tcp/ {print $NF}' |sort |uniq -c
或
netstat -nat | awk '/^tcp/{arr[$6]++}END{for(state in arr){print arr[state] ": " state}}'


使用awk统计httpd访问日志中每个客户端IP的出现次数?
awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' /var/log/httpd/accesslog | sort -r

备注:定义数组，数组名称为ip，数字的下标为日志文件的第1列(也就是客户端的Ie地址)，++的目的在于对客户端进行统计计数，客户端IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

awk '/Failed password/{print $0} ' /var/log/secure
awk '/Failed password/{print $11} ' /var/log/secure
awk '/Failed/{ip[$11]++}END{for(i in ip) {print i", "ip[i]}}' /var/log/secure
awk '/Failed/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/ secure

awk '/Failed password/{ip[$11]++}END{for(i in ip) {print i", "ip[i]})' /var/log/secure

脚本编写:
#!/bin/bash
x= `awk '/Failed password/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure `
#190.168.80.13 
for j in $x
do
ip=`echo $j | awk -F "," '{print $1}'
num=`echo $j | awk -F "," '{print $2}'`
if [ $num -ge 3 ];then
echo "警告! $ip访问本机失败了$num次，请速速处理!"
fi
done