shell02：必须要会的辅助（awk）

转载自：http://blog.chinaunix.net/uid-23302288-id-3785105.html

感谢作者大大pspery

awk是行处理器：

相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息。

awk处理过程：

依次对每一行进行处理，然后输出。

awk命令形式：

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

 [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

'  '          引用代码块

BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符

//           匹配代码块，可以是字符串或正则表达式

{}           命令代码块，包含一条或多条命令

；          多条命令使用分号分隔

END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

特殊要点：

$0      表示整个当前行

$1      每行第一个字段

NF     字段数量变量

NR     每行的记录号，多文件记录递增

FNR  与NR相似，不过多文件记录不递增，每个文件都从1开始

\t        制表符

\n       换行符

FS     begin时定义分隔符

RS     输入的记录分隔符，默认为换行符（即文本是按照一行一行输入）

~        匹配，与==相比不是精确比较

!~       不匹配，不精确比较

==       等于，必须全部相等，精确比较

!=        不等于，精确比较

&&       逻辑与

||          逻辑或

+         匹配时表示一个或一个以上

/[0-9][0-9]+/     两个或两个以上数字

/[0-9][0-9]*/      一个或一个以上数字

FILENAME      文件名

OFS     输出字段分隔符，默认也是空格，可以改为制表符等

ORS     输出的记录分隔符

 

-F'[:#/]'   定义三个分隔符

打印

print是awk打印指定内容的主要命令。

awk '{print}' file    输出文件内容

awk '{print $0}'  file  输出文件内容

awk '{print ""}'  file    读取file的行数N，然后输出N行空格

awk '{print "a"}' /etc/passwd    读取file的行数N，然后输出N行a

awk -F" " '{print $1}' file     读取file的内容，用分隔符空格匹配，输出每行匹配到的第一个字段

awk -F" " '{print $1;print $2}' file     读取file的内容，用分隔符空格匹配，分行输出每行匹配到的前两个字段

awk -F" " '{print $1;print $2}' file     读取file的内容，用分隔符空格匹配，输出每行匹配到的前两个字段，以制表符作为分割

-f 指定脚本文件

BEGIN{

FS=" "
}

{print $1}

等同于awk -F" " '{print $1}' file

awk  'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' file    输出空白行

ls -l| awk 'BEGIN{SUM=0}!/^d/{SUM+=$5} END{print "ths total size is ",SUM}'  计算文件总大小

-F指定分隔符

awk -F" " '{print $1}' file     读取file的内容，用分隔符空格匹配，输出每行匹配到的第一个字段

awk -F" " '{print $1 $3}' file     读取file的内容，用分隔符空格匹配，输出每行匹配到的第一个及第三个字段，相连输出

awk -F" " '{print $1,$3}' file     读取file的内容，用分隔符空格匹配，输出每行匹配到的第一个及第三个字段，空格连接输出

awk -F" " '{print "firstword:"$1 "\t\tthirdword:" $3}' file    自定义格式化输出

awk -F" " '{print NF}' file    打印每行有多少字段

awk -F" " '{print $NF}'  file   打印每行第NF个字段

awk '{print NR}' file   打印行号

awk -F" " '{print NR,NF,$NF,'\t',$0}' file    依次打印 行号，字段数，最后一个字段，制表符，整行内容

匹配代码块

//纯字符匹配   !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹配   ~/a1|a2/字段值匹配a1或a2 

awk '/name/' file

awk '/name/{print}' file

awk '/name/{print $0}' file     此三条命令结果一致，匹配含有name的行

上述三条命令/name/变为!/name/，则匹配不包含name的行

awk '/miaomiao|wangwang/' file   可用|进行或运算，匹配miaomiao或wangwang,同样加!表示匹配不包含的行

awk -F" "  '/miaomiao/,/wangwang/' file   匹配包含喵喵及旺旺的整个区间

awk -F“ ” '$1~/my/{print $1}' file    第一个字段为my时，显示第一个字段

加!表示第一个字段不为my时。

if语句

if必须要用在{}中，且内容要用()括起来。

awk -F" " '{if($1~/my/) print $1}' file     如果第一个字段为my则输出

awk -F" " '{if($1~/my/) {print $1} else {print $2}}' file     如果第一个字段为my则输出，否则输出第二个字段

awk -F" " '{if($1~/my/) next; else {print $0}}' file   如果匹配到my则跳过，否则输出整行。

while循环

awk 'BEGIN{i=1}{while(i<NF) print NF,i++}' file    i=1,当i<=NF时，输出NF,i，然后i+1，直到i>NF，退出循环

条件表达式

==   !=   >   >=   <   <=

准备文件

依次运用上述符号

逻辑运算符

&&    ||

awk -F" " '$1~/my/ && $5~/miaomiao/ {print $0}' file     匹配第一个字段为my且第五个字段为miaomiao的，输出整句

awk -F" " '$1~/my/ || $5~/miaomiao/ {print $0}' file        匹配第一个字段为my或第五个字段为miaomiao的，输出整句

数值运算

加，减，乘，除，取整

输出处理结果到文件

在命令代码块中直接输出

使用重定向进行输出

格式化输出

netstat -anp|awk '{printf "%-8s %-8s %-10s\n",$1,$2,$3}' 

printf表示格式输出

%格式化输出分隔符

-8长度为8个字符

s表示字符串类型

打印每行前三个字段，指定第一个字段输出字符串类型(长度为8)，第二个字段输出字符串类型(长度为8),

第三个字段输出字符串类型(长度为10)

数组

netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'