awk基本用法与进阶用法

awk基本用法

格式:awk [选项] '[条件]{指令}' 文件

其中,print 是最常用的编辑指令;若有多条编辑指令,可用分号分隔。

Awk过滤数据时支持仅打印某一列,如第2列、第5列等。

处理文本时,若未指定分隔符,则默认将空格、制表符等作为分隔符。

awk常用内置变量:

$0 文本当前行的全部内容

$1 文本的第1列

$2 文件的第2列

$3 文件的第3列,依此类推

NR 文件当前行的行号

NF 文件当前行的列数(有几列)

 

 1) 直接过滤文件内容:

  1. [root@svr5 ~]# cat test.txt
  2. hello the world
  3. welcome to beijing
  4. [root@svr5 ~]# awk '{print $1,$3}' test.txt        //打印文档第1列和第3列
  5. hello world
  6. welcome beijing

 

2)结合管道过滤命令输出:

  1. [root@svr5 ~]# df -h | awk '{print $4}'        //打印磁盘的剩余空间

 

3)选项 -F 可指定分隔符

输出passwd文件中以分号分隔的第1、7个字段,显示的不同字段之间以逗号隔开,操作如下:

  1. [root@svr5 ~]# awk -F: '{print $1,$7}' /etc/passwd
  2. root /bin/bash
  3. bin /sbin/nologin
  4. daemon /sbin/nologin
  5. adm /sbin/nologin
  6. lp /sbin/nologin
  7. … …

 

4)awk还识别多种单个的字符,比如以“:”或“/”分隔,输出第1、10个字段:

  1. [root@svr5 ~]# awk -F [:/] '{print $1,$10}' /etc/passwd
  2. root bash
  3. bin nologin
  4. daemon nologin
  5. adm sbin
  6. … …

 

5)输出每次处理行的行号,以及当前行以“:”分隔的字段个数(有几列):

  1. [root@svr5 ~]# awk -F: '{print NR,NF}' passwd.txt
  2. 1 7
  3. 2 7
  4. 3 7
  5. .. ..

6)awk的print指令不仅可以打印变量,还可以打印常量

使用逗号隔开,字符串要打上双引号

  1. [root@svr5 ~]# awk -F: '{print $1,"的解释器:",$7}' /etc/passwd
  2. root 的解释器: /bin/bash
  3. bin 的解释器: /sbin/nologin
  4. … …

 

awk处理的语法结构

awk会逐行处理文本,支持在处理第一行之前做一些准备工作,以及在处理完最后一行之后做一些总结性质的工作。在命令格式上分别体现如下:

  1. awk [选项] '[条件]{指令}' 文件
  2. awk [选项] ' BEGIN{指令} {指令} END{指令}' 文件
  • BEGIN{ } 行前处理,读取文件内容前执行,指令执行1次
  • { } 逐行处理,读取文件过程中执行,指令执行n次
  • END{ } 行后处理,读取文件结束后执行,指令执行1次

 

1)只做预处理的时候,可以没有操作文件,比如:

  1. [root@svr5 ~]# awk 'BEGIN{A=24;print A*2}'
  2. [root@svr5 ~]# awk 'BEGIN{print x+1}' #x可以不定义,直接用,默认值位0
  3. [root@svr5 ~]# awk 'BEGIN{print 3.2+3.5}'

 

2)统计系统中使用bash作为登录Shell的用户总个数

 

  1. [root@svr5 ~]# awk 'BEGIN{x=0}/bash$/{x++} END{print x}' /etc/passwd
  2. 29

 

3)格式化输出/etc/passwd文件

要求: 格式化输出passwd文件内容时,要求第一行为列表标题,中间打印用户的名称、UID、家目录信息,最后一行提示一共已处理文本的总行数,如图-1所示。

 

输出信息时,可以使用“\t”显示Tab制表位:

  1. [root@svr5 ~]# awk -F: 'BEGIN{print "User\tUID\tHome"} \
  2. {print $1 "\t" $3 "\t" $6} \
  3. END{print "Total",NR,"lines."}' /etc/passwd
  4. User UID Home
  5. root 0 /root
  6. bin 1 /bin
  7. daemon 2 /sbin
  8. adm 3 /var/adm
  9. lp 4 /var/spool/lpd
  10. sync 5 /sbin
  11. .. ..
  12. Total 67 lines.

 

4)输出其中以bash结尾的完整记录:

  1. [root@svr5 ~]# awk -F: '/bash$/{print}' /etc/passwd
  2. root:x:0:0:root:/root:/bin/bash

 

5)输出包含root的行数据:

  1. [root@svr5 ~]# awk -F: '/root/' /etc/passwd

 

6)输出root或adm账户的用户名和UID信息:

  1. [root@svr5 ~]# awk -F: '/^(root|adm)/{print $1,$3}' /etc/passwd
  2. root 0
  3. adm 3

 

7)输出第一列账户名称包含root的基本信息

比如rroot,roott,rooter都包含root

  1. [root@svr5 ~]# awk -F: '$1~/root/' /etc/passwd

 

8)输出其中登录Shell不以nologin结尾(对第7个字段做!~反向匹配)的用户名、登录Shell信息:

  1. [root@svr5 ~]# awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
  2. root /bin/bash
  3. sync /bin/sync
  4. shutdown /sbin/shutdown

 

awk使用数值/字符串比较设置条件

比较符号:==(等于) !=(不等于) >(大于)

>=(大于等于) <(小于) <=(小于等于)

 

1)输出第3行(行号NR等于3)的用户记录:

  1. [root@svr5 ~]# awk -F: 'NR==3{print}' /etc/passwd

2)输出账户UID大于等于1000的账户名称和UID信息:

  1. [root@svr5 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
  2. tom 1000
  3. jerry 1001

3)输出账户UID小于10的账户名称和UID信息:

  1. [root@svr5 ~]# awk -F: '$3<10{print $1,$3}' /etc/passwd
  2. root 0
  3. bin 1
  4. daemon 2
  5. adm 3
  6. lp 4
  7. sync 5
  8. shutdown 6
  9. halt 7
  10. mail 8

4)输出用户名为“root”的行:

  1. [root@svr5 ~]# awk -F: '$1=="root"' /etc/passwd
  2. root:x:0:0:root:/root:/bin/bash

5)逻辑测试条件

输出账户UID大于10并且小于20的账户信息:

  1. [root@svr5 ~]# awk -F: '$3>10 && $3<20' /etc/passwd
  2. operator:x:11:0:operator:/root:/sbin/nologin
  3. games:x:12:100:games:/usr/games:/sbin/nologin
  4. ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

 

6)输出账户UID大于1000或者账户UID小于10的账户信息:

  1. [root@svr5 ~]# awk -F: '$3>1000 || $3<10' /etc/passwd
  2. root:x:0:0:root:/root:/bin/bash
  3. bin:x:1:1:bin:/bin:/sbin/nologin
  4. daemon:x:2:2:daemon:/sbin:/sbin/nologin
  5. adm:x:3:4:adm:/var/adm:/sbin/nologin
  6. lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
  7. sync:x:5:0:sync:/sbin:/bin/sync
  8. shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
  9. halt:x:7:0:halt:/sbin:/sbin/halt
  10. mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
  11. varnish:x:1001:1001::/home/varnish:/sbin/nologin
  12. nginx:x:1002:1002::/home/nginx:/sbin/nologin

 

7)数学运算

  1. [root@svr5 ~]# awk 'BEGIN{x++;print x}'   #x默认为0
  2. 1
  3. [root@svr5 ~]# awk 'BEGIN{x=8;print x+=2}'
  4. 10
  5. [root@svr5 ~]# awk 'BEGIN{x=8;x--;print x}'
  6. 7
  7. [root@svr5 ~]# awk 'BEGIN{print 2+3}'
  8. 5
  9. [root@svr5 ~]# awk 'BEGIN{print 2*3}'
  10. 6
  11. [root@svr5 ~]# awk 'BEGIN{print 2*3}'
  12. 6
  13. [root@svr5 ~]# awk 'BEGIN{ print 23%8}'
  14. 7
  15. [root@svr5 ~]# seq 200 | awk '$1%3==0' //找200以内3的倍数
  16. … …

 

8)输出/etc/hosts映射文件内以127或者192开头的记录:

  1. [root@svr5 ~]# awk '/^(127|192)/' /etc/hosts
  2. 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
  3. 192.168.4.5 svr5.tarena.com svr5

 

 

awk流程控制

  • if分支结构(单分支、双分支、多分支)
  • 练习awk数组的使用

 

1)单分支

统计/etc/passwd文件中UID小于或等于1000的用户个数:

  1. [root@svr5 ~]# awk -F: '{if($3<=1000){i++}}END{print i}' /etc/passwd
  2. 39

统计/etc/passwd文件中UID大于1000的用户个数:

  1. [root@svr5 ~]# awk -F: '{if($3>1000){i++}}END{print i}' /etc/passwd
  2. 8

统计/etc/passwd文件中登录Shell是“/bin/bash”的用户个数:

  1. [root@svr5 ~]# awk -F: '{if($7~/bash$/){i++}}END{print i}' /etc/passwd
  2. 29

 

2)双分支

分别统计/etc/passwd文件中UID小于或等于1000、UID大于1000的用户个数:

  1. [root@svr5 ~]# awk -F: '{if($3<=1000){i++}else{j++}}END{print i,j}' /etc/passwd
  2. 39 8

分别统计/etc/passwd文件中登录Shell是“/bin/bash”、 登录Shell不是“/bin/bash”的用户个数:

  1. [root@svr5 ~]# awk -F: '{if($7~/bash$/){i++}else{j++}} END{print i,j}' /etc/passwd
  2. 29 38

 

awk数组

数组的语法格式

数组是一个可以存储多个值的变量,具体使用的格式如下:

定义数组的格式:数组名[下标]=元素值

调用数组的格式:数组名[下标]

遍历数组的用法:for(变量 in 数组名){print 数组名[变量]}。

  1. [root@svr5 ~]# awk 'BEGIN{a[0]=11;a[1]=88;print a[1],a[0]}'
  2. 88 11
  3. [root@svr5 ~]# awk 'BEGIN{a++;print a}'
  4. 1
  5. [root@svr5 ~]# awk 'BEGIN{a0++;print a0}'
  6. 1
  7. [root@svr5 ~]# awk 'BEGIN{a[0]++;print a[0]}'
  8. 1
  9. [root@svr5 ~]# awk 'BEGIN{a[0]=0;a[1]=11;a[2]=22; for(i in a){print i,a[i]}}'
  10. 0 0
  11. 1 11
  12. 2 22

注意,awk数组的下标除了可以使用数字,也可以使用字符串,字符串需要使用双引号:

  1. [root@svr5 ~]# awk 'BEGIN{a["hehe"]=11;print a["hehe"]}'
  2. 11

 

awk扩展应用

1)awk统计Web访问排名

在分析Web日志文件时,每条访问记录的第一列就是客户机的IP地址,其中会有很多重复的IP地址。因此只用awk提取出这一列是不够的,还需要统计重复记录的数量并且进行排序。

通过awk提取信息时,利用IP地址作为数组下标,每遇到一个重复值就将此数组元素递增1,最终就获得了这个IP地址出现的次数。

针对文本排序输出可以采用sort命令,相关的常见选项为-r、-n、-k。其中-n表示按数字顺序升序排列,而-r表示反序,-k可以指定按第几个字段来排序。

1)提取ip

  1. [root@svr5 ~]# awk '{ip[$1]++}END{for(i in ip) {print ip[i],i }}' /var/log/httpd/access_log
  2. 4 127.0.0.1
  3. 17 192.168.4.5
  4. 13 192.168.4.110
  5. .. ..

2)对第1)步的结果根据访问量排名

  1. [root@svr5 ~]# awk '{ip[$1]++} END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log | sort -nr
  2. 17 192.168.4.5
  3. 13 192.168.4.110
  4. 4 127.0.0.1
  5. .. ..

 

 

编写脚本,实现计算机各个性能数据监控的功能,具体监控项目要求如下:

  • CPU负载
  • 网卡流量
  • 内存剩余容量
  • 磁盘剩余容量
  • 计算机账户数量
  • 当前登录账户数量
  • 计算机当前开启的进程数量
  • 本机已安装的软件包数量

 

1)查看性能数据的命令

  1. [root@svr5 ~]# uptime                            //查看CPU负载
  2. [root@svr5 ~]# ifconfig eth0                    //查看网卡流量
  3. [root@svr5 ~]# free                            //查看内存信息
  4. [root@svr5 ~]# df                                //查看磁盘空间
  5. [root@svr5 ~]# wc -l /etc/passwd                //查看计算机账户数量
  6. [root@svr5 ~]# who |wc -l                        //查看登录账户数量
  7. [root@svr5 ~]# rpm -qa |wc -l                    //查看已安装软件包数量

 

2)脚本内容如下:

  1. [root@svr5 ~]# vim test.sh
  2. #!/bin/bash
  3. ip=`ifconfig eth0 | awk '/inet /{print $2}'`
  4. echo "本地IP地址是:"$ip
  5. cpu=`uptime | awk '{print $NF}'`
  6. #awk中NF为当前行的列数,$NF是最后一列
  7. echo "本机CPU最近15分钟的负载是:"$cpu
  8. net_in=`ifconfig eth0 | awk '/RX p/{print $5}'`
  9. echo "入站网卡流量为:"$net_in
  10. net_out=`ifconfig eth0 | awk '/TX p/{print $5}'`
  11. echo "出站网卡流量为:"$net_out
  12. mem=`free | awk '/Mem/{print $4}'`
  13. echo "内存剩余容量为:"$mem
  14. disk=`df | awk '/\/$/{print $4}'`
  15. echo "根分区剩余容量为:"$disk
  16. user=`cat /etc/passwd |wc -l`
  17. echo "本地账户数量为:"$user
  18. login=`who | wc -l`
  19. echo "当前登陆计算机的账户数量为:"$login
  20. process=`ps aux | wc -l`
  21. echo "当前计算机启动的进程数量为:"$process
  22. soft=`rpm -qa | wc -l`
  23. echo "当前计算机已安装的软件数量为:"$soft

编写安全检测脚本

编写脚本,防止远程ssh暴力破解密码,具体监控项目要求如下:

  • 检测ssh登录日志,如果远程登陆账号名错误3次,则屏蔽远程主机的IP
  • 检测ssh登录日志,如果远程登陆密码错误3次,则屏蔽远程主机的IP

 

1)过滤帐户名失败的命令(登陆日志文件为/var/log/secure)

  1. [root@svr5 ~]# awk '/Invalid user/{print $10}' /var/log/secure

2)过滤密码失败的命令

  1. [root@svr5 ~]# awk '/Failed password/{print $11}' /var/log/secure

3)脚本内容如下:

  1. [root@svr5 ~]# vim test.sh
  2. #!/bin/bash
  3. awk '/Failed password/{print $11}' /var/log/secure | awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' | awk '$1>3{print $2}'
  4. awk '/Invalid user/{print $10}' /var/log/secure | awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' | awk '$1>3{print $2}'
  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值