LINUX 三剑客之awk

最新推荐文章于 2024-04-25 19:22:51 发布

ST Cp

最新推荐文章于 2024-04-25 19:22:51 发布

阅读量456

点赞数

文章标签： linux

本文链接：https://blog.csdn.net/m0_62473957/article/details/123162146

版权

一概述

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数量，可以来自标准输入也可以是管道或文件

20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk，之所以叫AWK是因为其取了三位创始人Alfred Aho，Peter Weinberger，和l Brian Kernighan 的 Family Name 的首字符。

工作原理:

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出，如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次。

工作原理:

逐行读取文木，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。.awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"||表示"或"、"!"表示非" ;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和次方。

命令格式:

awk选项·模式或条件操作文件1文件2

awk -f脚本文件文件1 文件2 --

格式: awk 关键字选项命令部分’{xxxx}'文件名

RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录,以进行处理。预设值是"\n'

简说:数据记录分隔，默认为\n，即每行为一条记录

练习

awk '{print}' lianxi.txt 打印所有

[root@localhost home]# awk '{print $1}' lianxi.txt #打印第一列

//awk默认把这一行当做一列，因为没有被空格分隔，awk默认以空格或tab键分隔

[root@localhost home]# awk -F: '{print $1}' lianxi.txt

//定义冒号为分隔符显示分隔之后的第1列

[root@localhost ~]# awk -Fx '{print $1}' /etc/passwd 用x作为分隔符

root :

$1与$2 之间的逗号代表空格

将空格用双引号括起来也可以显示出空格来，没有空格只能当做一个正常变量

\t 表示制表符。也是tab键。

[root@localhost home]# awk -F[:/] '{print $1,$2}' lianxi.txt

#定义两个分隔符，：或者/ 两个有其中一个都算作是分隔符

NF FS NR $0 $n RS的使用举例

$1:代表第一列

$2:代表第二列以此类推

$0:代表整行

NF:一行的列数

NR:行数

[rootelocalhost ~]# awk ' /root/{print $0}" pass.txt #打印包含root的整行内容

root: x:0:o : root: /root: /bin/ bash

[root@localhost~]#awk -F: " /root/ {print $1} ' pass.txt #打印包含root的行的第一列

root

[root@localhost ~]# awk -F: '/root/{print $1,$6}' pass.txt

//打印包含root的行的第一列和第六列

root /root

[root@localhost home]# awk -F: '/\!/{print $1}' /etc/shadow

输出shadow文件中以冒号分隔的第二列有感叹号的行的第一列

[root@localhost ~]# awk -F[ :/] '{print NF}' zz

//打印zz文件每一行以：分割的列数

[root@localhost home]# awk -F: '{print NF,$0}' lianxi.txt

//打印lianix.txt文件每一行以：分割的列数及每行的内容

[root@localhost home]# awk -F: '{print $NF}' lianxi.txt

//打印lianix.txt文件每一行以：分割的最后一列

[root@localhost home]# awk ‘{print NR}' lianxi.txt 只显示每一行行号

[root@localhost home]# awk '{print NR,$0}' lianxi.txt 显示每一行的行号及每一行的内容

[root@localhost ~]# awk 'END{print NR}' /etc/passwd //打印总行数

[root@localhost ~]# awk 'END{print $0 }' /etc/passwd //打印文件最后一行

[root@localhost ~]# awk -F: ‘{print "当前行有"NF"列"}’ zz 打印当前行以：分割的总共有几列

[root@localhost ~]# awk -F: '{print "第"NR"行有"NF"列" }'/etc/passwd //第几行有几列

扩展生产:网卡的ip、流量

[rootelocalhost ~j# ifconfig ens33 | awk ' /netmask/{print "本机的ip地址是"$2}'

本机的ip地址是192.168.245.211

[root@localhost ~]# ifconfig ens33 | awk '/RX p/{print $5"字节"}’

8341053字节

根分区的可用量

[ rot@localhost ~]# df -h l awk 'NR==2{print $4 }'

52G

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END一般用来做汇总操作，仅在读取完数据记录之后执行一次

awk的运算:

[root@localhost ~]# awk 'BEGIN{x=10;print x}’

//如果不用引号awk就当作一个变量来输出了，所以不需要加$了

[root@localhost ~]# awk 'BEGIN{x=10;print x+1}'

//BEGIN在处理文件之前，所以后面不跟文件名也不影响

[ rootelocalhost~]#awk 'BEGIN{x=10;x++; print x}'

[ root@localhost ~]# awk 'BEGIN{print x+1}’

//不指定初始值，初始值就为0，如果是字符串，则默认为空

[root@localhost ~]# awk 'BEGIN{print 2.5+3.5}'

//小数也可以运算

[ rootelocalhost~]#awk 'BEGIN{ print 2-1}"

[ rootelocalhost ~]#awk "BEGIN{print 3*4 } "

[ rootelocalhost~].awk 'BEGIN{ print 3**2}'9

[root@localhost ~]# awk 'BEGIN{print 2^3}' ^和**都是幂运算

[ rootelocalhost~]#awk 'BEGIN{print 1/2}" 0.5

模糊匹配,用~表示包含，!~表示不包含

[rootelocalhost ~]"awk -F: '$1~/root/' /etc/passwd 文件中以：分割的第一列包含root的

[root@localhost ~]# awk -F: '$1~/ro/' /etc/passwd //模糊匹配，只要有ro就匹配上

[root@8localhost ~]# awk -F: '$7!~/nologin$/{print $1,$7}" /etc/passwd

文件中以：分割的第7列不包含nologin的第一列和第七列打印出来

关于数值与字符串的比较

比较符号: = != => <= > <

[rootelocalhost ~] # awk 'NR==5{print} ‘ /etc/passwd 打印文件第5行

[rootelocalhost ~] # awk 'NR<5{print} ‘ /etc/passwd

打印文件小于第5行的，1-4行

[ rootelocalhost~]#awk -F:"$3==0' /etc/passwd

[root8localhost ~]#awk -F: '$1=-root' /etc/passwd

[root@localhost ~j# awk -F: '$1=="root"' /etc/passwd

//精确匹配一定是root

[ rootelocalhost ~ ]# awk -F: "$3>=1000' /etc/passwd

逻辑运算

&& ll

[root@localhost ~]#awk -F: '$3<10 || $3>=1000' /etc/passwd

[root@localhost ~j#awk -F: '$3>10 && $3<1000' /etc/passwd

[root@localhost ~]# awk -F: 'NR>4 && NR<10' /etc/passwd

案列:

打印1-200之间所有能被7整除并且包含数字7的整数数字

[ rootelocalhost ~] seq 200 |awk '$1%7==0 && $1~/7/’

147

175

其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

[root@localhost~]# awk 'BEGIN{FS=": "} {print $1}' pass.txt

//在打印之前定义字段分隔符为冒号等于 awk -F: ‘{print $1}’ pass.txt

[ rootelocalhost ~]# awk 'BEGIN{FS=": ";OFS="---"} {print $1,$2}' pass.txt

//OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格

root---x

bin---x

daemon---x

adm---x

lp---x

[root@localhost ~]# awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts

//可以看出FNR的行号在追加当有多个文件时

2nameserver 114.114.114.1143 search localdomain

1 127.0.0.l~ localhost localhost.localdomain localhost4 localhost4.localdomain4

2 i:llocalhost localhost.localdomain localhost6 localhost6.localdomain6

[root@localhost ~]# awk '{print NR,$0} '/etc/resolv.conf /etc/hosts

2nameserver 114.114.114.114

3 search localdomain

4127.0.0.l~ localhost localhost.localdomain localhost4 localhost4.localdomain4

5 ::1localhost localhost.localdomain localhost6 localhost6.localdomain6

[rootelocalhost ~]# awk 'BEGIN{RS=":"{print $0}' /etc/passwd

//RS;指定以什么为换行符，这里指定是冒号，你指定的肯定是原文里存在的字符

root

[root8localhost ~]#awk 'BEGIN{ORS= " "} {print $0}' /etc/passwd

ORS把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键

awk高级用法

定义引用变量

[ root@localhost ~]#a=100

[ rootelocalhost ~]# awk -v b="$a” 'BEGIN{print b}’

//将系统的变量a，在awk里赋值为变量b，然后调用变量b

100

[root@localhost ~]# awk 'BEGIN{print "'$a'"}’

//直接调用的话需要先用双引号再用单引号

100

[rootelocalhost ~]# awk -vc=1 'BEGIN{print c}'

/ /awk直接定义变量并引用

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

当getline左右无重定向符"<"或"I"时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NE，NR，FNR和%0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。当getline左石有重定向符"<"或""I"时，getline则作用于定向输入文件，由于该文件是刚打开，

并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

[root@localhost ~]# df -h / awk 'BEGIN{getline}/root/{print $0 }'

/ dev/mapper/centos-root 50G 5.2G 45G 11%/

[root@localhost ~]# seq 10 | awk ' { getline;print $0}' //显示偶数行

[ root@localhost ~]# seq 10 | awk '{print $0;getline)'//显示奇数行

if语句:awk的if语句也分为单分支、双分支和多分支

单分支为if (){ }

双分支为if (){ }else{ }

多分支为if (){ }else if (){ }else{ }

[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd //第三列小于10的打印整行[root@localhost ~]# awk -F: '(if($3<10)(print $3}else{print $1}} '/etc/passwd

//第三列小于10的打印第三列，否则打印第一列

awk还支持for循环、while循环、函数、数组等其他

awk 'BEGIN{x=0};/\/bin\/bash$/{x++;print x,$0};END{print x}' /etc/passwd

统计以/ bin/ bash结尾的行数,等同于grep -c "/bin/bash" /etc/passwd

BEGIN模式表示，在处理指定的文木之前，需要先执行BEGIN模式中指定的动作;awk再处理指定的文木，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句

awk -F ":" '!($3<200){print}' /etc/passwd #输出第3个字段的值不小于200的行

awk 'BEGIN{FS=":"};{if($3>=1000){print}}' /etc/passwd

先处理完BEGIN的内容，再打印文木里面的内容

awk -F":" '{max=($3>=$4) ?$3:$4; {print max)}}' /etc/passwd(了解)

($3>$4) ?$3:$4三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max.

awk -F ":” ' (print NR,$0 )' /etc/passwd #输出每行内容和行号，每处理完一条记录NR值加1

sed -n '=;P' /etc/passwd

awk -F ":" '$7~"bash"{print $1,$7}' /etc/passwcd

#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段

awrk -F: ‘/ bash/{print $1}" /etc/passwed

awk -F":" "($1~"root") &&(NF==7){print $1,$2,$NF} ' /etc/passwd

第1个字段中包含root且有7个字段的行的第1、2个字段

awk -F ":" "($7!="/bin/bash") & &($7!="/sbin/nologin") {print} ' /etc/passwd

输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

awk -F: '($NF !="/bin/bash")&&($NF !=”/sbin/nologin" ) {print NR,$0 }' passwd

通过管道、双引号调用shell 命令:

Echo $PATH | awk 'BEGIN{RS=":"};END {print NR}’

#统计以冒号分隔的文本段落数，END语句块中，往往会放入打印结果等语句

echo $PATH|awk 'BEGIN{RS=":"};{print NR,$0};END{print NR}'

awk -F: '/bash$/{print | "wc -l")' /etc/passwd

#调用wc -l命令统计使用bash 的用户个数,

#等同于grep -c "bash$" /etc/passwd

awk -F: ‘/ bash$/ {print}' pasawd l wc -l

查看内存

free -m l awk '/Mem:/ {print int($3/($3+$4)*100)"%")′

查看当前内存使用百分比

# free -m / awk ' /Mem:/ {print $3/$2)'

[root@localhost ~]# free -m|awk ‘/Mem:/ {print $3/$2*100}'

free -m | awk '/Mem:/{print $3/$2*100}' | awk -F. '{print $1"%"}'

比较后取整

查看CPU利用率

top -b -n 1 l grep Cpu | awk -F, {print $4}' l awk '{print $1}′

#查看当前cPv空闲率，(-b -n1表示只需要1次的输出结果)

查看时间

last 是你关机或充气的记录，last | tail -1 是最后一次关机或重启的时间；

开机时间记录在/proc/uptime中可用

date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"

来查看开机时间，和运行时间。（+号前面有空格）

awk 'BEGIN {n=0; while ("w" | getline) n++ ; {print n-2}}'

#调用w命令，并用来统计在线用户数

awk 'BEGIN { "hostname" l getline ; {print $0}} '

调用hostname,并输出当前的主机名

CPu使用率

cpu_us=`top -b -n 1 l grep Cpu | awk '{ print $2}`

cpu_sy=`top -b -n 1 | grep Cpu | awk -F, '{print $2}' | awk '{print $1}'`

cpu_sum=$ (($cpu_us+$cpu_sy))

echo $cpu_sum

echo "A B C D" l awk '{OFS="I"; print $0;$1=$1 ;print $0} '

$1-$1是用来激活$0的重新赋值,也就是说字段$1...和字段数NF的改变会促便awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做

Awk ‘BEGIN{a[0]=10;a[1]=20; print a[1]}’

Awk ’BEGIN{a[o]=10;a[1]=20; print a[o]}"

Awk 'BEGIN{a[ "abc"]=10; a["xyz"]=20;print a ["abc"]}'

awk 'BEGINia [ "abc"]=10;a ["xyz"]=20; print a["xyz"]}’

awk 'BEGIN{a ["abe"]="aabbcc"; a["xyz"]="xyyzz" ; print a ["xyz"]}'

awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}’

PS1:BEGIN中的命令只执行一次

PS2: awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

使用awk统计httpd访问日志中每个客户端IP的出现次数

awk '(ip[$1]++);END{for(i in ip){print ip[i],i}}' /var/log/httpd/access_log

备注:定义数组，数组名称为ip，数字的下标为日怎文件的第1列(也就是客户A的i?地址)，+t的目的在于对客户端进行统计计数，客户端IP出现―次计数器就加i。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

awk '/Failed password/ {print $0}' /var/log/secure

awk '/Failed password/ {print $1}' /var/log/secure

awk '/Failed/ {ip[$11]++};END{for(i in ip){print i”,”ip[i]}}' /var/log/secure

脚本编写

#!/bin/ bash

x='awk '/Failed password/{ip[$11]++};END{for(i in ip) (print i","ip[i]}}’/var/log/secure'

#190.168.80.13 3

for j in $x

ip= "echo $j l awk -F ", " '{print $1}"

num="echo $j l awk -F ", " '{print $2} "

if[ $num -ge 3 ];then

echo“警告$ip访问本机失败了$num次，请速速处理!”

done

ST Cp

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

LINUX 三剑客之awk

一 概述

一概述