2019-03-14笔记—shell脚本编程五（awk）

awk命令用于列数据的切割，一般使用关系表达式作为条件，相比于sed命令更加精准

条件格式：

条件类型	条 件	含义
awk保留字	BEGIN	在 awk 程序一开始，尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
awk保留字	END	在 awk 程序处理完所有数据，即将结束时执行。END 后的动作只在程序结束时执行一次
关系运算符	>，<，>=，<=，!=，==	注意等于（==），一个等于号代表变量赋值
关系运算符	A~B	判断字符串 A 中是否包含能匹配 B 表达式的子字符串
关系运算符	A!~B	判断字符串 A 中是否不包含能匹配 B 表达式的子字符串
正则表达式	/正则/	如果在“//”中可以写入字符，则也可以支持正则表达式

---

测试：

[root@linux2019 shell]# head -n3 passwd  |awk -F ':' '{print $1}' 
root
bin
daemon
[root@linux2019 shell]# 
[root@linux2019 shell]# head -n3 passwd  |awk -F ':' '{print $0}'   #$0打印整行数据
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@linux2019 shell]#  head -n3 passwd |awk -F ':' '{OFS="#"} {print $1,$3,$4}'   #OFS是awk命令内置参数，替换分隔符
root#0#0
bin#1#1
daemon#2#2
[root@linux2019 shell]# awk '/oo/' passwd   #正则匹配“oo”字符串，以下类似
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
[root@linux2019 shell]# awk -F ':' '$1 ~ /oo/' passwd 
root:x:0:0:root:/root:/bin/bash
[root@linux2019 shell]# awk -F ':' '$7 !~ /nologin/' passwd     #正则匹配最后一个段不是nologin的数据行
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
test1:x:1001:1001::/home/test1:/bin/bash
php-fpm:x:1002:1002::/home/php-fpm:/bin/bash
ftpuser:x:1003:1003::/home/ftpuser:/bin/bash
[root@linux2019 shell]# awk -F ':' '$7 !~ /nologin/ {print $1,$7}' passwd 
root /bin/bash
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
test1 /bin/bash
php-fpm /bin/bash
ftpuser /bin/bash
[root@linux2019 shell]# awk -F ':' '/root/ {print $1,$7} /zabbix/ {print $1,$7}' passwd     #正则匹配可以同时设定多个条件
root /bin/bash
operator /sbin/nologin
zabbix /sbin/nologin
[root@linux2019 shell]# awk -F ':' '$3>="1002"' passwd #比较条件中，数字加了“”是字符串的比较
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
php-fpm:x:1002:1002::/home/php-fpm:/bin/bash
nginx:x:997:995:nginx user:/var/cache/nginx:/sbin/nologin
ftpuser:x:1003:1003::/home/ftpuser:/bin/bash
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
zabbix:x:996:993:Zabbix Monitoring System:/var/lib/zabbix:/sbin/nologin
[root@linux2019 shell]# awk -F ':' '$3>=1002' passwd #数字条件的比较
php-fpm:x:1002:1002::/home/php-fpm:/bin/bash
ftpuser:x:1003:1003::/home/ftpuser:/bin/bash
[root@linux2019 shell]# awk -F ':' '$3>"5" && $3<"7"' passwd    #逻辑判断，多个条件过滤
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
[root@linux2019 shell]#  awk -F ':' '{OFS="#"} {if ($3>1000) {print $1,$2,$3,$4}}' passwd   #if条件判断
test1#x#1001#1001
php-fpm#x#1002#1002
ftpuser#x#1003#1003
[root@linux2019 shell]#  head -n3 passwd | awk -F ':' '{print NF,NR}'
7 1
7 2
7 3
#awk内置参数，NF(列总数)，NR(行数)
[root@linux2019 shell]#  head -n 3 passwd |awk -F ':' '$1="root"'   #变量赋值
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin
[root@linux2019 shell]#  awk -F ':' 'BEGIN{tot=0}; {(tot=tot+$3)}; END {print tot}'  passwd #标准写法，日常使用中“BEGIN“和”END“可以省略
8783
[root@linux2019 shell]#  awk -F ':' '{(tot=tot+$3)}; END {print tot}'  passwd 
8783