20151203正则第五部分（awk)

描述：awk 可以实现grep 和sed的功能（grep主要是查找，sed最主要是用来替换）， awk还可以用来分段！

最主要是用来查找替换的！

测试环境：cp /etc/passwd /test.txt

 以及  cp /etc/passwd /1.txt

1.1

-F来显示分割符，$3表示第三段

[root@niejicai-linux ~]# awk -F ':' '{print $3}' 1.txt  |head -5   以：为分割符输出第3段，显示前5行。

0

1

2

3

4

[root@niejicai-linux ~]# awk -F ':' '{print $3,$4}' 1.txt |head -5

 默认分割符，是空格，下面我们还可以通过分割符来进行分行。

0 0

1 1

2 2

3 4

4 7

方法一：（这种方法不是很标准，比较老套的方法）

[ root@niejicai-linux  ~]# awk -F ':' '{print $3 ":" $4}' 1.txt |head -5

0 :0

1 :1

2 :2

3 :4

4 :7

方法二：主要是用奥OFS的参数来实现，注意看格式！

[ root@niejicai-linux ~]#  awk -F ':' 'OFS="@" {print $3,$4}' 1.txt  |head -5

0@0

1@1

2@2

3@4

4@7

1.2

 输出带有root的行

[ root@niejicai-linux ~]#  awk '/root/' 1.txt    

root:x:0:0: root: /root:/bin/bash

operator:x:11:0:operator: /root:/sbin/nologin

[ root@niejicai-linux ~]#  awk -F ':' '/root/{print $3}' 1.txt        输出带有root的行同时，分别打印出第三段！

0

11

[ root@niejicai-linux ~]#  awk -F ':' '/root/{print  NR":" $3}' 1.txt      输出带有root的行的第三段，并且显示行号，最后用：号分开显示！ NR表示行号

1:0                   这里是第一行的第三段是0。

11:11               这里是第十一行的第三段是11，然后用：号分开。

[root@niejicai-linux ~]# awk -F':' '{print NR":" $3}' 1.txt  

 输出1.txt下面的所有的第三段，并且输出行号！行号和第三段的内容用：分开显示！

1:0

2:1

3:2

。。

[ root@niejicai-linux ~]#  awk -F ':'  '{print NR":" NF}' 1.txt

                                                          NR表示行号，NF显示段数！

1:7                   这里表示在1.txt里面，第1行，有7段。

2:7                   这里表示在1.txt里面，第2行，有7段。

。。                 按照这样的显示，列出来。

[root@niejicai-linux ~]# awk '/ro*t/' 1.txt

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin

rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin

abrt:x:173:173::/etc/abrt:/sbin/nologin

hacluster:x:496:493:heartbeat user:/var/lib/heartbeat/cores/hacluster:/sbin/nologin

[root@niejicai-linux ~]# awk '/ro?t/' 1.txt

vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin

rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin

abrt:x:173:173::/etc/abrt:/sbin/nologin

hacluster:x:496:493:heartbeat user:/var/lib/heartbeat/cores/hacluster:/sbin/nologin

[root@niejicai-linux ~]# awk '/r(oo)+t/' 1.txt

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

[ root@niejicai-linux ~]#  awk '/root|ftp/' 1.txt         （ 匹配查找包含root和ftp的行）。

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

[ root@niejicai-linux ~]#  awk -F ':' '$1~/root/' 1.txt        按：号进行分段，然后输出第1段是root的，整行数据！        $1表示第1段，~表示匹配。（所以'$1~/roo/'表示是第1段是root的行）

root:x:0: 0:root:/root:/bin/bash

[root@niejicai-linux ~]# awk -F ':' '$1~/root/ {print $3}' 1.txt     表示是第1段是root的行，然后输出第3段的内容！  （这里是精度匹配grep 和sed都无法实现）。

0

[root@niejicai-linux ~]# awk -F ':' '$1~/root/ || $3>500 {print NR":"$0}' 1.txt

                                 ||这里是表示或者的意思，'$1~/root/' 表示第1段是root的行；（或者）

$3>500 {print NR":"$0}'   表示第3段大于500 的，然后输出行号以及整行,($0表示整行的意思）。

1:root:x:0:0:root:/root:/bin/bash 

33:xiaonie:x:501:501::/home/xiaonie:/bin/bash

34:user1:x:502:503::/home/user1:/bin/bash

35:user2:x:5505:5505::/home/user2:/bin/bash

36:user10:x:5506:5507::/home/user10:/bin/bash

37:user20:x:505:505::/home/user20:/bin/bash

38:user41:x:5562:500::/home/user41:/bin/bash

39:user42:x:5561:500::/home/user42:/bin/bash

40:user4:x:509:500:user4,ddddddddddd,aaaaaaaaaaa,111111111111111:/home/user444:/bin/bash

41:user0:x:5563:5563::/home/user0:/bin/bash

[ root@niejicai-linux ~]#  awk -F ':' '$1=="root" || $3>500 {print NR ":"$0}' 1.txt

          $1=="root"表示精准匹配，     ($0表示整行的意思）。

 

1:root:x:0:0:root:/root:/bin/bash

35:xiaonie:x:501:501::/home/xiaonie:/bin/bash

36:user1:x:502:503::/home/user1:/bin/bash

37:user2:x:5505:5505::/home/user2:/bin/bash

38:user10:x:5506:5507::/home/user10:/bin/bash

39:user20:x:505:505::/home/user20:/bin/bash

40:user41:x:5562:500::/home/user41:/bin/bash

41:user42:x:5561:500::/home/user42:/bin/bash

42:user4:x:509:500:user4,ddddddddddd,aaaaaaaaaaa,111111111111111:/home/user444:/bin/bash

43:user0:x:5563:5563::/home/user0:/bin/bash

[ root@niejicai-linux ~]#  awk -F ':' '$1=="root" && $3>500 {print NR ":"$0}' 1.txt

表示并且的意思，这里没有符合要求

[root@niejicai-linux ~]# awk -F ':' '$1=="root" && $3<500 {print NR ":"$0}' 1.txt

1:root:x:0:0:root:/root:/bin/bash                        <也是可以的，>也是可以的。

[root@niejicai-linux ~]# awk -F ':' 'NR>20 && $3<500 {print NR":" $0}' 1.txt

21:rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin

22:avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin

23:pulse:x:498:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin

24:haldaemon:x:68:68:HAL daemon:/:/sbin/nologin

25:ntp:x:38:38::/etc/ntp:/sbin/nologin

26:apache:x:48:48:Apache:/var/www:/sbin/nologin

27:saslauth:x:497:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin

28:postfix:x:89:89::/var/spool/postfix:/sbin/nologin

29:abrt:x:173:173::/etc/abrt:/sbin/nologin

30:gdm:x:42:42::/var/lib/gdm:/sbin/nologin

31:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

32:tcpdump:x:72:72::/:/sbin/nologin

34:hacluster:x:496:493:heartbeat user:/var/lib/heartbeat/cores/hacluster:/sbin/nologin

[ root@niejicai-linux ~]#

[root@niejicai-linux ~]# awk -F ':' '$7!="sbin/nologin" {print NR":" $0}' 1.txt

 第7段不等于"sbin/nologin"的，输出来！

1:root:x:0:0:root:/root:/bin/bash

。。。。

43:user0:x:5563:5563::/home/user0:/bin/bash

[root@niejicai-linux ~]# awk -F ':'  '$3<$4 {print NR":" $0}' 1.txt  

 通过段和段之间进行比较$3和$4进行比较

6:adm:x: 3: 4:adm:/var/adm:/sbin/nologin

7:lp:x: 4: 7:lp:/var/spool/lpd:/sbin/nologin

11:mail:x: 8: 12:mail:/var/spool/mail:/sbin/nologin

12:uucp:x: 10: 14:uucp:/var/spool/uucp:/sbin/nologin

14:games:x: 12: 100:games:/usr/games:/sbin/nologin

15:gopher:x: 13: 30:gopher:/var/gopher:/sbin/nologin

16:ftp:x: 14: 50:FTP User:/var/ftp:/sbin/nologin

36:user1:x: 502: 503::/home/user1:/bin/bash

38:user10:x: 5506: 5507::/home/user10:/bin/bash

[root@niejicai-linux ~]# awk -F ':' 'NR>30 {print NR":" $0}' 1.txt    还可以用大于多少行的

31:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

32:tcpdump:x:72:72::/:/sbin/nologin

33:niejicai:x:500:500:niejicai:/home/niejicai:/bin/bash

34:hacluster:x:496:493:heartbeat user:/var/lib/heartbeat/cores/hacluster:/sbin/nologin

35:xiaonie:x:501:501::/home/xiaonie:/bin/bash

36:user1:x:502:503::/home/user1:/bin/bash

37:user2:x:5505:5505::/home/user2:/bin/bash

38:user10:x:5506:5507::/home/user10:/bin/bash

39:user20:x:505:505::/home/user20:/bin/bash

40:user41:x:5562:500::/home/user41:/bin/bash

41:user42:x:5561:500::/home/user42:/bin/bash

42:user4:x:509:500:user4,ddddddddddd,aaaaaaaaaaa,111111111111111:/home/user444:/bin/bash

43:user0:x:5563:5563::/home/user0:/bin/bash

[root@niejicai-linux ~]# awk -F ':' 'NR>20&&NR<30  {print NR":" $0}' 1.txt       

大于20行并且小于30行

21:rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin

22:avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin

23:pulse:x:498:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin

24:haldaemon:x:68:68:HAL daemon:/:/sbin/nologin

25:ntp:x:38:38::/etc/ntp:/sbin/nologin

26:apache:x:48:48:Apache:/var/www:/sbin/nologin

27:saslauth:x:497:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin

28:postfix:x:89:89::/var/spool/postfix:/sbin/nologin

29:abrt:x:173:173::/etc/abrt:/sbin/nologin

[ root@niejicai-linux ~]#

[root@niejicai-linux ~]# awk -F ':' 'OFS=":", $7=$3+$4 {print $0}' 1.txt   还可以实现加减法

root:x:0:0:root:/root:0

。。。

user42:x:5561:500::/home/user42:6061

user4:x:509:500:user4,ddddddddddd,aaaaaaaaaaa,111111111111111:/home/user444:1009

user0:x:5563:5563::/home/user0:11126

1.3

计算第3段的总和，把uid全部加起来！

[ root@niejicai-linux ~]# wc -l 1.txt

43 1.txt

[root@niejicai-linux ~]# awk -F ':' '{(sum=sum+$3)};END  {print sum}' 1.txt

33436

[root@niejicai-linux ~]# awk -F ':' '{(sum=sum+$1)}; END {print sum}' 3.txt

5

[ root@niejicai-linux ~]# cat 3.txt

a:1

2:b

3:c

d:4

[ root@niejicai-linux ~]#

[root@niejicai-linux ~]# awk -F ':' '{(sum=sum+$2)}; END {print sum}' 3.txt

5

[ root@niejicai-linux ~]# cat 3.txt

a: 1

2:b

3:c

d: 4

这里如果是字母的话，就是转换为0

[root@niejicai-linux ~]# awk -F ':' '{print $3}' 1.txt           列出所有第3段的内容

0

0

。。。。。

5562

5561

509

5563

用shell来表示：

[root@niejicai-linux ~]# sum=0; for i in `awk -F ':' '{print $3}' 1.txt`; do sum=$[$sum+$i]; done; echo $sum

33436

用awk表示如下：

[root@niejicai-linux ~]# awk -F ':' '{(sum=sum+$3)};END {print sum}' 1.txt

33436

awk还可用if

[root@niejicai-linux ~]# awk -F ':' '{if ($1=="root") print $0}' 1.txt

root:x:0:0:root:/root:/bin/bash

[ root@niejicai-linux ~]#

1.4

awk练习题

1.用awk 打印整个test.txt （以下操作都是用awk工具实现，针对test.txt）

[root@niejicai-linux ~]# awk '{print $0}' test.txt

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

。。。

user0:x:5563:5563::/home/user0:/bin/bash

2.查找所有包含 'bash' 的行

[root@niejicai-linux ~]# awk '/bash/' test.txt

root:x:0:0:root:/root:/bin/bash

niejicai:x:500:500:niejicai:/home/niejicai:/bin/bash

。。。。

user0:x:5563:5563::/home/user0:/bin/bash

3.用 ':' 作为分隔符，查找第三段等于0的行

[root@niejicai-linux ~]# awk -F ':' '$3==0{print $0}' test.txt

root:x:0: 0:root:/root:/bin/bash

4.用 ':' 作为分隔符，查找第一段为 'root' 的行，并把该段的 'root' 换成 'toor' (可以连同sed一起使用)

[root@niejicai-linux ~]# awk -F ':' '$1=="root"' test.txt |sed 's/root/toor/g'

toor:x:0:0:toor:/toor:/bin/bash

toor

5.用 ':' 作为分隔符，打印最后一段

[root@niejicai-linux ~]# awk -F ':' '{print$NF}' test.txt   

$NF表示最后一段！（NF表示段）

7

。。。

6.打印行数大于20的所有行  

[root@niejicai-linux ~]# awk 'NR>20' test.txt       NR表示行

pulse:x:498:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin

haldaemon:x:68:68:HAL daemon:/:/sbin/nologin

ntp:x:38:38::/etc/ntp:/sbin/nologin

。。。。。

7.用 ':' 作为分隔符，打印所有第三段小于第四段的行

[root@niejicai-linux ~]# awk -F ':' '$3<$4 {print $0}' test.txt

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

user1:x:502:503::/home/user1:/bin/bash

#user10:x:5506:5507::/home/user10:/bin/bash

[root@niejicai-linux ~]# awk -F ':' '$3<$4' test.txt

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

user1:x:502:503::/home/user1:/bin/bash

#user10:x:5506:5507::/home/user10:/bin/bash

[ root@niejicai-linux ~]#

8.用 ':' 作为分隔符，打印第一段以及最后一段，并且中间用 '@' 连接 （例如，第一行应该是这样的形式 'root@/bin/bash' ）

[root@niejicai-linux ~]# awk -F ':' '{print $1 "@" $NF}' test.txt

root@/bin/bash

bin@/sbin/nologin

daemon@/sbin/nologin

adm@/sbin/nologin

lp@/sbin/nologin

sync@/bin/sync

shutdown@/sbin/shutdown

halt@/sbin/halt

mail@/sbin/nologin

uucp@/sbin/nologin

operator@/sbin/nologin

games@/sbin/nologin

gopher@/sbin/nologin

ftp@/sbin/nologin

nobody@/sbin/nologin

dbus@/sbin/nologin

usbmuxd@/sbin/nologin

vcsa@/sbin/nologin

rtkit@/sbin/nologin

avahi-autoipd@/sbin/nologin

pulse@/sbin/nologin

haldaemon@/sbin/nologin

ntp@/sbin/nologin

apache@/sbin/nologin

saslauth@/sbin/nologin

postfix@/sbin/nologin

abrt@/sbin/nologin

gdm@/sbin/nologin

sshd@/sbin/nologin

tcpdump@/sbin/nologin

niejicai@/bin/bash

hacluster@/sbin/nologin

xiaonie@/bin/bash

user1@/bin/bash

user2@/bin/bash

#user10@/bin/bash

roooooot@roooooot

rot@rot

rt@rt

root@root

@

user20@/bin/bash

user41@/bin/bash

user42@/bin/bash

user4@/bin/bash

user0@/bin/bash

[ root@niejicai-linux ~]#

9.用 ':' 作为分隔符，把整个文档的第四段相加，求和