三剑客之awk 逐行读取

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。

推荐:Linux运维老纪的首页,持续学习,不断总结,共同进步,活到老学到老
导航剑指大厂系列:全面总结 运维核心技术:系统基础、数据库、网路技术、系统安全、自动化运维、容器技术、监控工具、脚本编程、云服务等。
常用运维工具系列:常用的运维开发工具, zabbix、nagios、docker、k8s、puppet、ansible等
数据库系列:详细总结了常用数据库 mysql、Redis、MongoDB、oracle 技术点,以及工作中遇到的 mysql 问题等
懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂
非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

三剑客之awk 逐行读取 

一、awk工作原理

• 逐行读取文本，默认以空格或tab键为分隔符进行分隔， 将分隔所得的各个字段保存到内建变量中， 并按模式或者条件执行编辑命令。
• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"字段"然后再进行处理。 awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 在使用awk命令的过程中，可以使用逻辑操作符"&s"表示"与"、"J"表示"或"、"!"表示"非";还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式∶

1 2	awk 选项  '模式或条件  {操作）'  文件1 文件2  ... awk- f  脚本文件  文件1  文件2  ...

 awk常见的内建变量(可直接用)如下所示

• FS: 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
• NF: 当前处理的行的字段个数
• NR: 当前处理的行的行号(序数)
• $0: 当前处理的行的整行内容
• $n: 当前处理行的第n个字段(第n列)
• FILENAME: 被处理的文件名
• RS: 行分隔符。awk从文件.上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk-次仅读入一条记录,以进行处理。预设值是’\n’

二、按行输出文本

1 2	awk '{print}' testfile           #输出全部内容 awk '{print $0}' testfile       #输出全部内容

1 2	awk 'NR==1,NR==3{print}' testfile           #输出第1~3行内容 awk '(NR>=1)&&(NR<=3){print}' testfile     #输出第1~3行内容

1	awk 'NR==1||NR==3{print}' testfile  #输出第1行、第3行内容

1 2	awk '(NR%2)==1{print}' testfile   #输出所有奇数行的内容 awk '(NR%2)==0{print}' testfile    #输出所有偶数行的内容

1 2	awk '/^root/{print}' /etc/passwd     #输出以root开头的行 awk '/bash$/{print}' /etc/passwd  #输出以bash 结尾的行

1 2	awk 'BEGIN {x=0};/bash$/{x++};END{print x}' /etc/passwd    #统计以/bin/bash结尾的行数，等同于grep -c "/bin/bash$" /etc/passwd BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作; awk再处理指定的文本，之后再执行END模式中指定的动作,END{}语句块中， 往往会放入打印结果等语句

三、按字段输出文本

1	awk -F ":" '{print $3}' /etc/passwd   #输出每行中(以空格或制表位分隔)的第3个字段

1	awk -F ":" '{print $1,$3}' /etc/passwd   #输出每行中的第1、3个字段

1	awk -F ":" '$3<5{print $1,$3}' /etc/passwd #输出第3个字段的值小于5的第1、3个字段内容

1	awk -F ":" '!($3<200){print}' /etc/passwd  #输出第3个字段的值不小于200的行

1	awk -F ":" '{max=($3>=$4)?$3:$4;{print max}}' /etc/passwd     # ($3>$4)?$3:$4三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max

1	awk -F ":" '{print NR,$0}' /etc/passwd   #输出每行内容和行号，每处理完一条记录，NR值加1

1	awk -F ":" '$7~"/bash"{print $1}' /etc/passwd   #输出以冒号分隔且第7个字段中包含/bash的行的第1个字段

1	awk -F ":" '($1~"root")&&(NF==7){print $1, $2}' /etc/passwd   #输出第1个字段中包含root且有7个字段的行的第1、2个字段

1 2	awk -F ":” '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd #输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

四、通过管道，双引号调用shall命令

1	echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'  <br> #统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句

1 2	awk -F: '/bash$/{print | "wc -1"}' /etc/passwd   #调用wc -1命令统计使用bash 的用户个数,等同于grep -c "bash$" /etc/passwd

1	free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'  <br>#查看当前 内存使用百分比

1 2	top -b -n 1| grep Cpu | awk -F ',' '{print$4}'| awk '{print$1}'   #查看当前CPU空闲率，(-b-n 1 表示只需要1次的输出结果

1 2	date -d "$ (awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H: %M: %S"     #显示上次系统重启时间，等同于upt ime; second ago为显示多少秒前的时间，+"%F %H: %M:%S"等同于+"*Y-%m-%d %H:%M:%S"的时间格式

1	awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}' <br>#调用w命令,并用来统计在线用户数

1	awk 'BEGIN {"hostname" | getline ; {print $0}}'  <br>#调用hostname, 并输出当前的主机名

• 当getline左右无重定向符“<”或“1”时，awk首先读取到了第一行，就是1，然后getline， 就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF, NR, FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来

• 当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一 行，而不是隔行

1 2	seq 10 | awk '{getline; print $0}' seq 10 | awk '{print $0; getline}'

五、CPU使用率

1 cpu_us=`top -b -n 1 l grep Cpu I awk '{print $2}'
2 cpu_sy=`top -b -n 1 I grep Cpu l awk -F',''{print $2)' I awk'{print S1} 
3 cpu_sum=$((Scpu_us+Scpu_sy)) 
4 echo Scpu_sum

六、使用awk 统计 httpd 访问日志中每个客户端IP的出现次数

1 awk '{ip[$1]++}END{for(i in ip) {print ip[i],i}}' /var/log/httpd/access_log | sort -r
2 
3 备注:定义数组，数组名称为ip，数字的下标为日志文件的第1列(也就是客户端的IP地址)，++的目的在于对客户端进行统计计数，客户端.
4 IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for 循环遍历的是数组名ip的下标