Linux常用技能之awk

awk基础概念

awk脚本的流程控制分为三部分：

• 输入数据前例程BEGIN{}
• 主输入循环{}
• 所有文件读取完成例程END{}

awk的内建变量：

1. 每一行内容记录，叫做记录，英文名称 Record
2. 每行中通过分隔符隔开的每一列，叫做字段，英文名称 Field

明确这几个概念后，我们来总结几个重要的内置变量：
NR：表示当前的行数；
NF：表示当前行的列数；
RS：行分隔符，默认是换行；
FS：列分隔符，默认是空格和制表符；
OFS：输出列分隔符，用于打印时分割字段，默认为空格
ORS：输出行分隔符，用于打印时分割记录，默认为换行符

$0 和$1 是awk内置变量，当我们想输出行所有内容（默认是一行）时，就使用$0；如果只想输出第一个字段，可以使用$1。

awk实战

已经stat.txt的内容如下：

#输出第二列和第三列的信息：
awk '{print $2,$3}' stat.txt

#输出第二列和第三列的信息，不包括第一行
awk '{if(NR>1) print $2,$3}' stat.txt

#统计每一行的数字的总数：
awk '{sum=0;for(i=3;i<=NF;i++) sum+=$i;print sum}' stat.txt

#统计每一行的数字的总数，不包括第一行：
#做法一：
awk '{if(NR>1) {sum=0;for(i=3;i<=NF;i++) sum+=$i;print sum} }' stat.txt
#做法二：
sed -n '2,$p' stat.txt | awk '{sum=0; for(i=3;i<=NF;i++) sum+=$i;print sum}'

#统计所有行加起来的总数，END是遍历所有行后执行的操作：
awk '{for(i=3;i<=NF;i++) sum+=$i} END {print sum}' stat.txt

#将awk语句写进文件test1.awk，通过awk -f调用文件执行awk语句：
sed -n '2,$p' stat.txt | awk -f test1.awk

#awk数组运用
awk '{a[$2]=$NF} END {for(i in a) print i,a[i]}' stat.txt
#其实上面这个只是打印出第二列和最后一列，相当于 awk '{print $2,$NF}' stat.txt

awk进阶使用

awk指定输出分隔符

#指定输出的列的间隔符
awk 'BEGIN{OFS="||"} {print $2,$NF}' stat.txt
#执行列的分隔符，以及输出后的间隔符
head -5 /etc/passwd | awk 'BEGIN{FS=":";OFS="||"} {print $1,$NF}'

awk格式化输出：printf

#awk格式化输出：printf
ll -S | head -5 | awk '{printf("%.2f%s\n",$5/1024,"KB")}'

#ll -S表示按文件大小倒序排序。
#%.2f表示保留两位小数，%f默认保留6位小数。
#\n表示换行。