shell编程基础【七】---awk

AWK

    简介：AWK是一个优秀的文本处理工具，同时也是一个强大的数据处理引擎。它有自己

的语法结构、流程控制

          等，可以编写AWK程序。作为文本处理来讲，用得比较多的是提取列。

 

AWK基本格式：

        awk option '{ command }' file_name

 

 

AWK调用方式：

    1、命令行

        awk -F: '{printf("%-20s%d\n", $1,$3)}' /etc/passwd

 

    2、使用-f 指定命令文件

        awk -F: -f awk.ctl /etc/passwd

 

    3、写成AWK程序，利用命令解释器调awk程序

        cat awk1.awk

                #!/bin/awk -f

                BEGIN {

                        print "starting ... "

                        FS=":"

                        u1="User Name:"

                       u2="User ID:"

                }

                {

                         printf ("%s%-20s%s%d\n",u1,$1,u2,$3);

 

                }

                END {

                        print "End"

                }       

        调用：

         ./awk1.awk /etc/passwd

 

AWK调用系统命令

        system ("command")

 

 

        #!/bin/awk -f

        BEGIN {

                system("ls")

                system("date")

        }

 

使用数据字段变量 

        $0      整行文本

        $1      第一个字段

        $n      第n个字段

 

    例：显示每个文件的名字和大小

        ll | awk '{print $8,$5}'

在程序中执行多个命令

        命令间分号分隔  

        ll | awk '{printf ("%s   ",$8);print $5}'

 

 

数据处理前运行的脚本段（BEGIN）

    例：

        [root@t176 ule]# awk 'BEGIN{print "Starting ..."} {print $1,$3}' /etc/passwd

        Starting ...

        root:x:0:0:root:/root:/bin/bash 

 

数据处理后运行的脚本段（END）

        awk 'BEGIN{print "Starting ..."} {print $1,$3} END{print "END" }' /etc/passwd

AWK 变量 

    AWK支持两种类型变量

        内置变量 

        用户自定义变量

        

    内置变量：

        FS      字段分隔符

        NF      输入文件中字段个数

        NR      已处理的记录个数

        FNR     文件记录号

        FIELDWIDTHS     字段宽度

自定义变量 

        组成字符：字母、数字、下划线，但不能以数字开头。AWK变量区分大小写

        引用变量时，与SHELL不同大部分不要在前面加 $ ，只有一些特殊的变量前加 $，如 $n  取第n个字段

 

        

    变量赋值

        命令行：        

                [root@t176 ule]# awk 'BEGIN{t="this is a test";print t}';

                this is a test

 

        命令文件中：

                命令文件中定义变量，由运行时给值

               [root@t176 ule]# cat awk2.ctl 

                BEGIN {

                        FS=":"

                }

                {

                        print $n

                }

                [root@t176 ule]# awk -f awk2.ctl n=7 /etc/passwd

 

            但以上变量取值时会存在一个问题，在BEGIN段取不到值，解决办法是在命令

行调用时加 -v 参数

                [root@t176 ule]# cat awk3.ctl 

                BEGIN {

                        print "n=",n

                        FS=":"

                }

                {

                        print $n

               }

                [root@t176 ule]# awk -f awk3.ctl n=1 pa

                n=     -- 此时n因为在begin部分，没取到值 

                root

                bin

                daemon

                rlp

                shutdown

                rialt

                news

 

                [root@t176 ule]# awk -f awk3.ctl -v n=1  pa

                n= 1

                root

                bin

                daemon

                rlp

              shutdown

                rialt

                news

        

    定义数组：

        var_name[index]=value

 

        root@t176 ule]# awk 'BEGIN{ar[1]="abc";ar[2]=123;print ar[1]}' 

        abc     

 

    删除变量 

        delete var_name[index]

   遍历数组：

        for (var in array)

        {

 

 

        }

 

        awk 'BEGIN

        {var["a"]=1;var["b"]=2;var["c"]=3;

        for (t in var) {print "t="t,"var["t"]="var[t]}}'

 

        t=a var[a]=1

        t=b var[b]=2

        t=c var[c]=3

AWK使用正则表达式

        匹配符： ~ /正则表达式模式/      ! ~ /正则表达式模式/

 

 

数学表达式和bash也有所不同

        >  

        >=

        <

        <= 

        ==

        !=

AWK的流程控制

    选择：

        if (条件) 

        {

                

        }

 

 

        if (条件)

        {

 

        }

        else

        {

 

        }