awk学习笔记1-常用awk操作

(一)awk简介

        linux 三剑客之awk,AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。grep,sed和awk都是读一行处理一行，直到处理完成。

grep ： 过滤文本
sed  :  修改文本
awk  :  处理文本(主要用来格式化,将文本按照指定的格式输出)

(二)awk语法

常见的三种形式
awk [选项] '[pattern] action' 处理对象

标准输出 | awk [选项] '[pattern] action'

awk [选项] 'BEGIN{ commands } /pattern/ { commands } END{ commands }' 处理对象

        1.常用选项    

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令

        2.常用pattern  

这是一个正则表达式，用于匹配文件中的行 //
    ^匹配行首
    $匹配行尾
    .匹配任意1个字符
    *匹配前面的字符出现0次或多次
    +匹配前面的字符出现1次或多次
    ?匹配前面的字符出现0次或1次
    []匹配方括号中任意一个字符
    [^]匹配不在方括号中的任意一个字符

        3.常用action

这是一个命令序列，对常见的行进行处理
    print 打印匹配的行或者指定的字段
    printf 格式化输出 注意这个不换行的哦
                    printf    : 格式化打印
                    %s        : 字符串
                    %d        : 数字
                    -        : 左对齐
                    +        : 右对齐
                    15        : 至少占用15字符
    if-else 条件判断
    for 循环处理
    while 循环处理
    getline 从文件中处理一行
    next 跳过当前行
    exit 结束awk命令

        4.处理对象

        这个就是我们要处理的文本，没啥特别的

        5.awk语句中的BEGIN和END

        awk中可以有多个pattern{action}，只需要直接连用即可，这里的BEGIN和END就是pattern的一种特殊形式，BEGIN携带的action是在开始处理文本数据之前先要执行的，而END携带的action则是在处理文本数据结束后才执行的。

(三)awk内置变量

NF     当前行的字段数量
NR     当前行的行号，从1开始
FNR    各文件分别计数的行号，输入多个文件时，NR越来越大，FNR在换到另一个文件里就从1开始了，很好理解吧
$0     完整的输入记录,也就是当前行的全部内容
$n     当前记录的第n个字段，字段间由FS分隔
FS     字段分隔符(默认是任何空格)
RS     记录分隔符(默认是一个换行符)
OFS    输出字段分隔符，默认值与输入字段分隔符一致。
ORS    输出记录分隔符(默认值是一个换行符)
FILENAME      当前文件名
IGNORECASE    如果为真，则进行忽略大小写的匹配

(四)awk执行流程

BEGIN{}    : 最开始执行

 //                : 正则
{}                : 循环体
END{}        : 最后执行

这里面最少有一个，最多有四个
        1、通过关键字 BEGIN 执行 BEGIN 块的内容，即 BEGIN 后花括号 {} 的内容。
        2、完成 BEGIN 块的执行，开始执行body块。
        3、读入有 \n 换行符分割的记录。
        4、将记录按指定的域分隔符划分域，填充域，$0 则表示所有域(即一行内容)，$1 表示第一个域，$n 表示第 n 个域。
        5、依次执行各 BODY 块，pattern 部分匹配该行内容成功后，才会执行 awk-commands 的内容。
        6、循环读取并执行各行直到文件结束，完成body块执行。
        7、开始 END 块执行，END 块可以输出最终结果。

(五)常用操作

        1.截取文档中的某个段

-- F指定域分割符号，输出第一列和第二列
cat /etc/passwd |awk -F ':' '{print $1,$2}'

        2.匹配字符或者字符串

--print也可以不用直接用,默认输出行
cat /etc/passwd |awk '/bash/'
-- 只匹配有/bin/bash的行的用户，nologin的用户不显示
cat /etc/passwd |awk -F ':' '/\/bin\/bash/ {print $1}'
-- 匹配以n结尾,包含ftp文本的用户, 打印的是后可以用双引号打印自己想要的数
cat /etc/passwd |awk -F ':' '/.*ftp.*n$/ {print "用户:" $1}'

        3.条件操作符

        运算符    描述

                ~        : 使用正则匹配
                !~        : 不匹配正则匹配

                ||    逻辑或
                &&    逻辑与
                < <= > >= != ==    关系运算符
                空格    连接
                + -    加，减
                * / %    乘，除与求余
                + - !    一元加，减和逻辑非
                $    字段引用
awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂

--匹配uid>1000的用户全部信息
cat /etc/passwd |awk -F ':' '$3>=1000'
--匹配test开头，输出当前文件名，行号，uid+1000
awk -F ':' '/^test/ {print FILENAME,NR,$3+1000}' /etc/passwd
--使用正则表达式,正则表达式匹配test  
-- ~ 表示模式开始。// 里面是模式。 !~表示模式取反
awk -F ':' '$1 ~ /test/ {print $1}' /etc/passwd

        4.设置变量

-- 输出test用户 组名+2000
awk -F ':' -va=2000 '/^test/ {print $1,$3+a}' /etc/passwd

        5.忽略大小写

cat /etc/passwd | awk 'BEGIN{IGNORECASE=1} /ROOT/ {print $1}' 

        6.剔除空行显示

cat 1.txt | awk '!/^$/'