Shell编程之awk

目录

一、awk工具

1.awk概述

2.awk工具介绍

命令格式

二、awk工作原理

三、awk内置变量

四、awk用法

1.按行输出文本

2.按字段输出文本

3. 通过管道、双引号调用 Shell 命令

---

一、awk工具

1.awk概述

        AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
        AWK是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
        数据可以来自标准输入也可以是管道或文件
        20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
 

2.awk工具介绍

        功能强大的编辑工具

        无交互的情况下实现复杂的文本操作

命令格式

        awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 …
        awk -f 脚本文件 文件 1 文件 2 …

二、awk工作原理

        当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出

        如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

        sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。
        awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
        在使用awk命令的过程中,可以使用逻辑操作符"
&&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

三、awk内置变量

        FS：输入字段分隔符，默认为空格或制表位（tab）

        OFS：输出字段的分割符（默认是空格）

        RS:输入行分隔符

        ORS：输出行的分割符，默认为换行符

        NF：当前处理的行的字段个数

        NR：当前处理的行的行号（序数）

        FNR：读取文件的记录行号（从1开始，若读取新的文件依旧是从1开始）

        $0：当前处理的行的整行内容

        $n：当前处理行的第n个字段（第n列）

四、awk用法

1.按行输出文本

        awk '{print}' passwd    输出所有内容,等同于 cattest.txt

        awk 'NR==1,NR==3{print}' passwd         输出第 1~3 行内容

   awk 'NR==1||NR==3{print}' passwd           输出第 1 行、第 3 行内容

awk '(NR%2)==1{print}' passwd        输出所有奇数行的内容

 awk '(NR%2)==0{print}' passwd        输出所有偶数行的内容

 awk '/^root/{print}' passwd        输出以root 开头的行

 awk '/nologin$/{print}' passwd          输出以 nologin 结尾的行

 awk 'BEGIN {x=0} ; /\/bin\/bash$/{x++};END {print x}' /etc/passwd    

        统计以/bin/bash 结尾的行数,等同于 grep -c"/bin/bash$"/etc/passwd

        awk 'BEGIN{RS=""};END{print NR}' /etc/squid/squid.conf

                统计以空行分隔的文本段落数

 

2.按字段输出文本

    awk '{print$3}'test.txt                 输出每行中(以空格或制表位分隔)的第3个字段

awk '{print$1,$3}'test.txt                 输出每行中的第1、3个字段

awk -F ":" '$7~"/bash"{print $1}' /etc/passwd

                输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段

awk '($1~"nfs")&&(NF==8){print $1,$2}' /etc/services

                输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段

awk -F":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}'  /etc/passwd

        输出第 7 个字段既不为/bin/bash 也不为/sbin/nologin 的所有行

3. 通过管道、双引号调用 Shell 命令

        awk -F: '/bash$/{print | "wc -l"}' /etc/passwd

                调用wc -l 命令统计使用bash 的用户个数,等同于 grep -c "bash$" /etc/passwd

awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}}'

                调用w 命令,并用来统计在线用户数

awk 'BEGIN { "hostname" | getline ; print $0}'

                调用hostname,并输出当前的主机名