2017-11-22 6周3次课 正则------awk

截取文档中第一段

[root@node69 awk]# awk -F ':' '{print $1}' test.txt
root
bin
daemon
adm
lp

所有

[root@node69 awk]# awk -F ':' '{print $0}' test.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

[root@node69 awk]# awk  '{print $0}' test.txt

[root@node69 awk]# awk  '{print $1}' 1.txt
1
aa
dd

[root@node69 awk]# cat 1.txt 
1 2
aa bb
dd ee

[root@node69 awk]# awk -F ':' '{print $1,$3,$4}' test.txt
root 0 0
bin 1 1
daemon 2 2
adm 3 

awk的匹配功能

第一段包含oo的行

[root@node69 awk]# awk -F ':' '$1 ~ /oo/' test.txt
root:x:0:0:root:/root:/bin/bash

[root@node69 awk]# awk -F ':' '$1 ~ /o+/' test.txt
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
operator:x:11:0:operator:/root:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

数学运算表达式

[root@node69 awk]# awk -F ':' '$3==0' test.txt
root:x:0:0:root:/root:/bin/bash

[root@node69 awk]# awk -F ':' '$3==0 {print $1}' test.txt
root
[root@node69 awk]# awk -F ':' '$3>=1000 {print $1}' test.txt
nfsnobody
aaa

[root@node69 awk]# awk -F ':' '$3<$4' test.txt
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@node69 awk]# awk -F ':' '$3==$4' test.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin

[root@node69 awk]# awk -F ':' '$3>"5" && $3<"7"' test.txt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

NF ：用分隔符分隔后一共有多少段

[root@node69 awk]# awk -F ':' 'NR<=10' test.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin

[root@node69 awk]# awk -F ':' 'NR<=10 && $1 ~ /root|sync/' test.txt 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync

[root@node69 awk]# head -n3 /etc/passwd | awk -F ':' '{print NF}'
7
7
7
[root@node69 awk]# head -n3 /etc/passwd | awk -F ':' '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin

NF 是多少段，而$NF是最后一段的值, 而NR则是行号。

[root@node69 awk]# head -n3 /etc/passwd | awk -F ':' '{print NR}'
1
2
3

赋值

[root@node69 awk]# head -n 3 /etc/passwd |awk -F ':' '$1="root"'
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin

[root@node69 awk]# head -n 3 test.txt |awk -F ':' '{OFS=":"} $1="root"'
root:x:0:0:root:/root:/bin/bash
root:x:1:1:bin:/bin:/sbin/nologin
root:x:2:2:daemon:/sbin:/sbin/nologin

[root@node69 awk]# awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt 
78267

习题

1. 用awk 打印整个test.txt （以下操作都是用awk工具实现，针对test.txt）

[root@node69 awk]# awk '{print $0}' test.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

1. 查找所有包含 ‘bash’ 的行

[root@node69 awk]# awk '/bash/' test.txt
root:x:0:0:root:/root:/bin/bash
aaa:x:1000:1000:aaa:/home/aaa:/bin/bash

1. 用 ‘:’ 作为分隔符，查找第三段等于0的行

[root@node69 awk]# awk -F':' '$3=="0"' test.txt
root:x:0:0:root:/root:/bin/bash

1. 用 ‘:’ 作为分隔符，查找第一段为 ‘root’ 的行，并把该段的 ‘root’ 换成 ‘toor’ (可以连同sed一起使用)

[root@node69 awk]# awk -F':' '$1=="root"' test.txt |sed 's/root/toor/'
toor:x:0:0:root:/root:/bin/bash

1. 用 ‘:’ 作为分隔符，打印最后一段

[root@node69 awk]# awk -F':' '{print $NF}' test.txt
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin

1. 打印行数大于20的所有行

[root@node69 awk]# awk -F':' 'NR>20' test.txt
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
libstoragemgmt:x:995:993:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

1. 用 ‘:’ 作为分隔符，打印所有第三段小于第四段的行

[root@node69 awk]# awk -F':' '$3<$4' test.txt
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

1. 用 ‘:’ 作为分隔符，打印第一段以及最后一段，并且中间用 ‘@’ 连接 （例如，第一行应该是这样的形式 'root@/bin/bash‘ ）

[root@node69 awk]# awk -F':' '{print $1"@"$NF}' test.txt
root@/bin/bash
bin@/sbin/nologin
daemon@/sbin/nologin
adm@/sbin/nologin
lp@/sbin/nologin

1. 用 ‘:’ 作为分隔符，把整个文档的第四段相加，求和 

[root@node69 awk]# awk -F':' '{(sum+=$4)}; END {print sum}' test.txt
77429