AWK是Linux下一个非常强大的文本处理工具,能够分析各种复杂文件。
以下是8个常见的AWK文本处理案例,可助你提升AWK技能!
案例一:分析Nginx访问日志
案例二:两个文件差异对比
生成a和b两个文件,用于测试:
找出b文件在a文件相同记录:
找出b文件在a文件不同记录:
案例三:合并两个文件
生成a和b两个文件,用于测试:
将a文件合并到b文件:
将a文件相同IP的服务名合并:
解读:
数组a存储是$1=a[$1] $2,第一个a[$1]是以第一个字段为下标,值是a[$1] $2,也就是$1=a[$1] $2,值的a[$1]是用第一个字段为下标获取对应的值,但第一次数组a还没有元素,那么a[$1]是空值,此时数组存储是192.168.1.1=httpd,再遇到192.168.1.1时,a[$1]通过第一字段下标获得上次数组的httpd,把当前处理的行第二个字段放到上一次同下标的值后面,作为下标192.168.1.1的新值。此时数组存储是192.168.1.1=httpd tomcat。每次遇到相同的下标(第一个字段)就会获取上次这个下标对应的值与当前字段并作为此下标的新值。
案例四:将第一列合并到一行
解读:
for循环是遍历每行的字段,NF等于3,循环3次。
读取第一行时:
第一个字段:a[1]=a[1]1" " 值a[1]还未定义数组,下标也获取不到对应的值,所以为空,因此a[1]=1 。
第二个字段:a[2]=a[2]2" " 值a[2]数组a已经定义,但没有2这个下标,也获取不到对应的值,为空,因此a[2]=2 。
第三个字段:a[3]=a[3]3" " 值a[2]与上面一样,为空,a[3]=3 。
读取第二行时:
第一个字段:a[1]=a[1]4" " 值a[2]获取数组a的2为下标对应的值,上面已经有这个下标了,对应的值是1,因此a[1]=1 4
第二个字段:a[2]=a[2]5" " 同上,a[2]=2 5
第三个字段:a[3]=a[3]6" " 同上,a[2]=3 6
读取第三行时处理方式同上,数组最后还是三个下标,分别是1=1 4 7,2=2 5 8,3=36 9。最后for循环输出所有下标值。
案例五:字符串拆分
案例六:统计出现的次数
统计字符串中每个字母出现的次数:
案例七:获取某列数字最大数
案例八:去除文本第一行和最后一行
解读:
读取第一行,NR=1,不执行print s,s=1
读取第二行,NR=2,不执行print s,s=2 (大于为真)
读取第三行,NR=3,执行print s,此时s是上一次p赋值内容2,s=3
最后一行,执行print s,打印倒数第二行,s=最后一行。
掌握这些 AWK 案例,你将在 Linux 下处理文本无敌了!
Linux AWK文本处理神器,8个经典案例