shell编程（九）连载

shell 编程-AWK

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式

化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 默认分隔符是空格或者tab键

BEGIN{} {}
行处理前
END{}
行处理 行处理后
[root@qfedu.com ~]# awk 'BEGIN{print 1/2} {print "ok"} END{print "----"}' /etc/hosts 0.5
ok
ok
ok
ok 
ok
ok
----
​
awk工作原理
awk -F":" '{print $1,$3}' /etc/passwd 
(1)awk使用一行作为输入，并将这一行赋给变量$0,每一行可称作为一个记录，以换行符结束 
(2)然后，行被:分解成字段，每个字段存储在已编号的变量中，从$1开始 
(3)awk如何知道空格来分隔字段的呢?因为有一个内部变量FS来确定字段分隔符，初始时，FS赋为空格或者是tab 
(4)awk打印字段时，将以设置的方法，使用print函数打印，awk在打印的字段间加上空格，因为$1,$3间有一个,逗号。逗 号比较特殊，映射为另一个变量，成为输出字段分隔符OFS，OFS默认为空格 
(5)awk打印字段时，将从文件中获取另一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处 理。该过程持续到处理文件结束。
默认分隔符是空格或者tab键
awk中的特殊变量:
常用:
- NR: 表示记录编号, 当awk将行为记录时, 该变量相当于当前行号 
- NF: 表示字段数量, 当awk将行为记录时, 该变量相当于当前列号
难理解:
FS(输入字段分隔符) 
OFS(输出字段分隔符) 
NR(Number of record)行数 
FNR按不同的文件分开 
RS(输入记录分隔符) 
ORS(输出记录分隔符)
NF 字段个数
FS(输入字段分隔符) (filed sign)
[root@qfedu.com ~]# awk 'BEGIN{FS=":"} {print $1}' /etc/passwd 
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
OFS(输出字段分隔符)        (output filed sign)
[root@qfedu.com ~]# awk 'BEGIN{FS=":";OFS=".."} {print $1,$2}' /etc/passwd 
root..x
bin..x 
daemon..x 
adm..x 
lp..x 
sync..x 
shutdown..x
​
NR 表示记录编号, 当awk将行为记录时, 该变量相当于当前行号 
[root@qfedu.com ~]# awk -F: '{print NR,$0}' a.txt file1.txt 
1 love
2 love.
3 loove
4 looooove
5
6 isuo
7 IPADDR=192.168.6.5
8 hjahj123
9 GATEWAY=192.168.1.1
10 NETMASK=255.255.255.0
11 DNS=114.114.114.114
​
FNR 表示记录编号, 当awk将行为记录时, 该变量相当于当前行号(不同文件分开) 
[root@qfdu.com ~]# awk -F: '{print FNR,$0}' a.txt file1.txt
1 love
2 love.
3 loove
4 looooove
5
1 isuo
2 IPADDR=192.168.6.5 
3 hjahj123
4 GATEWAY=192.168.1.1
5 NETMASK=255.255.255.0
6 DNS=114.114.114.114
RS(输入记录分隔符)
[root@qfedu.com ~]# cat passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@qfedu.com ~]# awk -F: 'BEGIN{RS="bash"} {print $0}' passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
​
ORS(输出记录分隔符)
[root@qfedu.com ~]# cat passwd 
root:x:0:0:root:/root:/bin/bash 
bin:x:1:1:bin:/bin:/sbin/nologin 
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@qfedu.com ~]# awk -F: 'BEGIN{ORS=" "} {print $0}' passwd
root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
​
练习:将文件合并为一行
[root@qfedu.com ~]# awk 'BEGIN{ORS="" } {print $0}' /etc/passwd
练习:把一行内容分为多行
[root@newrain ~]# cat d.txt 
root:x:0:0:root:/root:/bin/bash
[root@qfedu.com ~]# awk 'BEGIN{RS=":"} {print $0}' d.txt 
root
x
0
0
root
/root
/bin/bash

AWK使用理解案例

1. 打印一个文件中的第2列和第3列

$ awk '{ print $2, $3}' filename

1. 打印指定行指定列的某个字符

$ awk -F":" 'NR==3{ print $7 }' /etc/passwd

1. 统计一个文件的行数

$ awk '{ print NR}' filename

1. 在脚本中, 传递变量到awk中 
   $ var=1000
   $ echo | awk -v VARIABLE=$var '{ print VARIABLE }'
2. 指定字段分隔符-F或在BEGIN{ FS=":" } 
   $ awk -F: '{ print $2, $3 }' filename
   $ awk 'BEGIN{ FS=":" }{ print $2, $3 }' filename
3. 在awk中使用for循环 
   每行打印两次
   [root@qfedu.com ~]# awk -F: '{for(i=1;i<=2;i++) {print $0}}' passwd 
   root:x:0:0:root:/root:/bin/bash
   root:x:0:0:root:/root:/bin/bash
   bin:x:1:1:bin:/bin:/sbin/nologin
   bin:x:1:1:bin:/bin:/sbin/nologin
   daemon:x:2:2:daemon:/sbin:/sbin/nologin
   daemon:x:2:2:daemon:/sbin:/sbin/nologin
   分别打印每行每列
   [root@qfedu.com ~]# awk -F: '{ for(i=1;i<=NF;i++) {print $i}}' passwd
4. 在awk中使用if条件判断 
   显示管理员用户名
   [root@qfedu.com ~]# awk -F: '{if($3==0) {print $1 " is administrator."}}' /etc/passwd
   统计系统用户
   [root@qfedu.com ~]# awk -F":" '{if($3>0 && $3<1000){i++}} END{print i}' /etc/passwd