文本三剑客之awk

awk

工作原理：

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方.

命令格式：

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …
演示：

一.按文本输出

1.输出文件所有内容

awk '{print}' testfile2 				#输出所有内容
awk '{print $0}' testfile2 				#输出所有内容

2.输出第一道三行内容   中间是且 &&

awk 'NR==1,NR==3{print}' testfile2		#输出第 1~3 行内容
awk '(NR>=1)&&(NR<=3){print}' testfile2	#输出第 1~3 行内容

3. 输出第一行 第三行内容   中间是或  || 

awk 'NR==1||NR==3{print}' testfile2		#输出第1行、第3行内容

4.输出以root开头的行  在/etc/passwd 文件中   /^root/以root开头

awk '/^root/{print}' /etc/passwd		#输出以 root 开头的行

5. 输出以 nologin 结尾的行     $以什么结尾

awk '/nologin$/{print}' /etc/passwd		#输出以 nologin 结尾的行

二.按字段输出：

awk -F   -F指定分隔符

1.以冒号为分隔符  输出第三个字段

awk -F ":" '{print $3}' /etc/passwd	#输出每行中(以空格或制表位分隔)的第3个字段

2.以冒号为分隔符  输出第一个 第三个字段

awk -F ":" '{print $1,$3}' /etc/passwd		#输出每行中的第1、3个字段

3. 以冒号为分隔符 输出第3个字段的值小于5的第1、3个字段内容

awk -F ":" '$3<5{print $1,$3}' /etc/passwd	#输出第3个字段的值小于5的第1、3个字段内容

4  以冒号为分隔符  ，输出第7个字段不为/bin/bash，也不为/sbin/nologin的所有行

awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd	

5.输出第1个字段中包含root且有7个字段的行的第1、2个字段‘

awk -F ":" '($1~"root")&&(NF==7){print $1,$2}' /etc/passwd

案例演示：

统计a.txt下不同IP地址出现的次数

cat a.txt

    192.168.1.1
    192.168.2.2
    192.168.1.1
    192.168.3.3
    192.168.2.2
    192.168.1.1

命令：

awk '{IP[$1]++}END{for(i in IP){print i,IP[i]}}' a.txt

  过程解析:

    第一部分：IP[$1]++
    IP：定义的一个数组变量IP，数据变量IP的下标名取不同的IP地址（awk中下标名可以是字符串）
    [$1]：这里的$1是对a.txt的第一列进行取值。（之所以可以实现循环取值，是因为awk逐行读取的机制）
    ++：当a[0]=1时，a[0]++结果为2
    所以IP[$1]++过程如下：
        IP[192.168.1.1]  1
        IP[192.168.2.2]  1
        IP[192.168.1.1]  2
        IP[192.168.3.3]  1
        IP[192.168.2.2]  2
        IP[192.168.1.1]  3
 
    第二部分：{for(i in IP){print i,IP[i]}
    for(i in IP)：这里i取值取的是数组变量IP的下标名，即：不同的ip地址
    {print i,IP[i]}：最后我们希望看到的是【ip地址】和【数量】，所以打印【i值】和【元素IP[i]】