Linux入门攻坚——21、gawk入门

gawk——GNU awk

文本处理三剑客：grep，sed，awk
grep，egrep，fgrep：文本过滤工具，pattern；
sed：行编辑器：模式空间、保持空间；
awk：报告生成器，格式化文本输出；

linux使用的是gawk，为了统一，依然使用awk作为命令，只不过是gawk的链接：

基本用法：gawk [options] 'program' FILE ...
    program：PATTERN{ACTION STATEMENTS}
        语句之间用分号分隔

    选项：
        -F：指明输入时用到的字段分隔符
        -v var=value：自定义变量

awk的工作原理：
按行读取文件，将读取的内容以-F指定的分隔符（默认为空白字符）进行分隔，形成多个部分，将不同的部分赋值给awk的内置位置变量，如$1，$2，$3...，而$0表示整行。（类似数据库中一条记录和字段）。

输出命令：
1、print：    print item1，item2，...
    要点：
        1）逗号分隔符；
        2）输出的各item可以是字符串，也可以是数值；当前记录的字段、变量或awk的表达式；
        3）省略item，相当于print $0

2、变量
    内建变量：
            FS ： input field seperator，输入字段分隔符，默认为空白字符，相当于-F选项
            OFS：output field seperator，输出字段分隔符，默认为空白字符
            RS：input record seperator，输入的换行符
            ORS：output record seperator，输出的换行符
            NF：number of field，字段数量
                {print NF} 与 {print $NF}的区别，NF是每行的字段数，$NF相当于每行最后一个字段
            NR：number of record，行数，多个文件会统一计数
            FNR：行数，各文件分别计数；
            FILENAME：文件名
            ARGC：命令行参数的个数，命令本身也算在其中
            ARGV：数组，保存了命令行中所给定的各参数



   
    自定义变量：
        1）-v var=value
            变量名区分字符大小写
        2）在program中直接定义

3、 printf命令：类似C语言中的printf
        格式化输出：printf FORMAT，item1，item2，...
        1）FORMAT必须给出；
        2）不会自动换行，需要显示给出换行控制符，\n
        3）FORMAT中需要分别为后面的每个item指定一个格式化符号；
        格式符：
            %c：显示字符的ASCII码；
            %d，%i：显示十进制整数；
            %e，%E：科学计数法数值显示；
            %f：显示为浮点数；
            %g，%G：以科学计数法或浮点形式显示数值；
            %s：显示字符串；
            %u：无符号整数；
            %%：显示%自身；
        修饰符：
            #[.#]：%3.1f，第一个数字控制显示的宽度，第二个数字表示小数点后的精度；
            -：左对齐；
            +：显示数值的符号；
 4、 操作符
        算术操作符：x+y，x-y，x*y，x/y，x^y，x%y， -x
        +x：转换为数值
        字符串操作符：没有符号的操作符，字符串连接
        赋值操作符：=，+=，-=，*=，/=，%=，^=，++，--
        比较操作符：>，>=，<，<=，!=，==
        模式匹配符：~:是否匹配，!~：是否不匹配
        逻辑操作符：&& ，||， ！
        函数调用：function_name(arg1，arg2，...)
        条件表达式：selector？if-true-expression：if-false-expression

 awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin";printf "%15s:%-s\n",$1,usertype}' /etc/passwd

5、PATTERN
    1）empty：空模式，匹配每一行
    2）/regular expression/：仅处理能够被模式匹配到的行；awk '/UUID/{print $1}' /etc/fstab
    3）relational expression：关系表达式；结果真或假，结果为真才会被处理；
        真：结果为非0值，非空字符串。awk -F: '$3>=1000{print $1,$3}' /etc/passwd
        awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
        awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd
    4）line ranges：行范围；   NR>=startline&&NR<=endline；/pat1/，/pat2/
    5）BEGIN/END模式：
        BEGIN{}：仅在开始处理文件中的文本之前执行一次；
        END{}：仅在文本处理完成之后执行一次；

6、常用action
    1）Expressions：表达式，条件表达式，赋值表达式等
    2）Control statements：if，while等；
    3）Compound statements：组合语句；
    4）input statements：输入语句
    5）Output statements：输出语句

7、控制语句
    if(condition) {statements}
    if(condition) {statements} else {statements}
    while(condition) {statements}
    do {statements} while(condition)
    for(expr1;expr2;expr3) {statements}
    break
    continue
    delete array[index]
    delete array
    exit
    { statements }

7.1 if-else
    语法：if(condition) statement [else statement]

awk -F: '{if($NF=="/bin/bash") printf $1}' /etc/passwd

awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}' /etc/passwd

使用场景：对awk取得的整行或某个字段做条件判断；
7.2 while循环
    语法：while(condition) statement
        条件“真”，进入循环；条件“假”，退出循环；
    使用场景：对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用；

awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/grub2.cfg

awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i,length($i)};i++}}' /etc/grub2.cfg

7.3 do-while循环
    语法：do statement while(condition)
        意义：至少执行一次循环体

7.4 for循环
    语法：for(expr;expr2;expr3) statement
    for(variable assignment;condition;iteration process)

 awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

    特殊用法：能够遍历数组中的元素
        语法：for（var in array）{for-body}

7.5 switch语句
    语法：switch（expression）{case VALUE1 or /REGEXP/：statement；case VALUE2 or/REGEXP2/：statement；...；default：statement}

7.6 break和continue
    break [n]
    continue

7.7 next
    提前结束对本行的处理而直接进入下一行；

 awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd

8、array
    关联数组：array[index-expression]
    index-expression：
        1）可使用任意字符串，字符串要使用双引号；
        2）如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”；
    若要判断数组中是否存在某元素，要使用“index in array”格式进行；
    若要遍历数组中的每个元素，使用for循环：
        for（var in array）{for-body}

awk 'BEGIN{week["mon"]="Monday";week["tue"]="Tuesday";print week["tue"]}'
awk 'BEGIN{week["mon"]="Monday";week["tue"]="Tuesday";for(i in week)print week[i]}'
netstat -tan | awk '/^tcp\>/{state[$NF]++} END{for(i in state) {print i,state[i]}}'

    注意：var会遍历array的每个索引；

9、函数
9.1 内置函数
    数值处理：rand()：随机数
    字符串处理：
        length（[s]）:返回指定字符串的长度
        sub（r，s，[t]）：以r表示的模式来查找t所表示的字符中的匹配的内容，并将其第一次出现替换为s所表示的内容；
        gsub（r，s，[t]）：以r表示的模式来查找t所表示的字符中的匹配的内容，并将其所有出现替换为s所表示的内容；
        split（s，a[，r]）：以r为分隔符切割字符s，并将切割后的结果保存至a所表示的数组中；
netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} END{for(i in count) {print i,count[i]}}'