AWK指令详解
1. 命令简述:
awk将每个输入行识别成一条记录,而将那一行上的每个单词域识别成一个字段
2. 命令选项:
-F 指定分隔符
NF 单行最后一个分段
NR 行数
&& 等同 AND 语句两边必须同时匹配为真
|| 等同 OR 语句两边同时或其中一边匹配为真。
! 求逆
ARGC 支持命令行中传入awk脚本的参数个数。
ARGVARGC 参数排列数组,其中每一元素表示为ARGV[n],n为期望访问的命令行参数。
ENVIRON 支持系统设置的环境变量,例如ENVIRON[“EDITOR”] =“Vi”
FILENAME 支持a w k脚本实际操作的输入文件
FNR 支持a w k目前操作的记录数。其变量值小于等于N R。
FS 用来在a w k中设置域分隔符,与命令行中- F选项功能相同,例:F S = ","
NF 支持记录域个数,在记录被读之后再设置
OFS 允许指定输出域分隔符,缺省为空格。如果想设置为#,写入O F S = " # "
ORS 为输出记录分隔符,缺省为新行( \ n)
RS 记录分隔符,缺省为新行( \ n )
gsub(r,s) 在整个$ 0中用s替代r,r为原内容,s为新内容,r可为/正则/
gsub(r,s,t) 在整个t中用s替代r, r为原内容,s为新内容,r可为/正则/
index(s,t) 返回s中字符串t的第一位置
length(s) 返回s长度
match(s,r) 测试s是否包含匹配r的字符串
split(s,a,fs) 以fs为分隔符将s分成序列数组a
sprint(fmt,exp) 返回经f m t格式化后的e x p
sub(r,s) 将$ 0第一个r替换为s ,r可为/正则/
sub(r,s,t) 将域t中的第一个r替换为s ,r可为/正则/
substr(s,p) 返回字符串s中从p开始的后缀部分
substr(s,p,n) 返回字符串s中从p开始长度为n的后缀部分
rand() 产生0到1之间的符点小数
Printf()
- 左对齐
width 域的步长,用0表示0步长
. prec 最大字符串长度,或小数点右边的位数
%c ASCII字符
%d 整数
%e 浮点数,科学记数法
%f 浮点数,例如(1 2 3 . 4 4)
%g awk决定使用哪种浮点数转换e或者f
%o 八进制数
%s 字符串
%x 十六进制数
3. 引用文件list.txt:
54786542:13744232156
360565687:15026736523
360565687:13597572727
100000:13898754555
100000:13898754555
1510121:155554215544:TTTa
baoping 207
1986 2009
1986 2007
baoping 2007
Malist
dj121M112d12nmm
tete
4. 实例说明:
awk '/^/' list.txt 匹配包含^的行,即显示全文
awk '/$/' list.txt 匹配包含$的行,即显示全文
awk '/./' list.txt 匹配包含^的行,即显示全文
awk '/.*/' list.txt 匹配包含任意字符的行,即显示全文
awk '{ print $1 }' list.txt 显示list.txt中每行第一串字符串
awk '/M/' list.txt 显示包含字符M所有的行
awk '/M/ { print $1 }' list.txt 显示包含M的行的第一串字符串
awk '/M/ {print "TT",$1}' list.txt 匹配包含M前面添加显示TT空格
awk -F, '{ print $1; print $2}' list.txt 逗号为分隔符,无第二串则换行
awk '{print NF}' list.txt 显示默认分隔符最后一个分段$数置
awk '{print $NF}' list.txt 显示最后一分段的值
awk '{n++}END{print n" line"}' list.txt 统计文本内容行数
awk -F: '{if($2~/15026736523/) print $0}' list.txt 匹配第二域,并显示该记录
awk '$0!~/15026736523/' list.txt 不匹配并显示该记录
awk '$0 ~ /15026736523/ {print $0 }' list.txt 匹配手机号,并显示该记录
awk -F: '$2=="15026736523" {print $0 }' list.txt 精确匹配$2的值
awk -F: '{if($2=="15026736523")print $0}' list.txt 精确匹配$2的值
awk -F: '{if($1 < $2) print $0}' list.txt 判断$1小于$2的记录并print
awk '/[Mm].*/' list.txt 匹配M.*或者m.*
awk -F: '$1 ~ /^…i/ {print $0}'list.txt 匹配第四个字符为i的行并显示
awk -F: '$1 ~ /(360|332)/ {print $0}'list.txt 匹配360和332的行.效果同[]
awk -F: '$1=="360565687" && $2=="15026736523"' list.txt 同时要符合条件,交集
awk -F: '{if ($1~/360/ || $2 ~/150/)print $0}' list.txt 匹配任何一个,并集
awk '{if (NR>0 && $1~/3605656/)print $0}' list.txt 匹配if条件
awk 'BEGIN{var="200"} {if ($1<var) print $0}' list.txt 利用begin赋值
awk '{if($1=="baoping"){$2=$2+1};print $2}' list.txt 算术运算
awk '{if($1=="baoping") $2="1986";print $2}' list.txt 重新赋值并显示所有$2
awk '{if($1=="baoping") {$2="1986";print $2}}' list.txt 重新赋值并显示单个$2
awk 'BEGIN{print "To"}{if($1<$2) {$2=$2-$1;print $0}}' list.txt 结果1986 23
awk '{(tot+=$2)}; END{print "total number:" tot}' list.txt 计算所有$2列的和
ls -l | awk '/^[^d]/ {print $9"\t"$5} {tot+=$5} END {print "KB:" tot}' 大小和
awk 'gsub("2007","2009",$0){print $0}' list.txt 将2007改为2009并显示
awk 'BEGIN {print index("150","5")}' 显示2,数所在的位数
awk '$1=="baoping" {print length($1)" "$1}' list.txt 显示结果7 baoping,字符长度
awk '$1=="baoping" {print match($2,"7")}' list.txt 相同字符首位置,本例4
awk 'BEGIN {print split("1#2#3#4",shuzu,"#")}' 结果为数组有4个元素shuzu[]
echo az bg cde|awk '{sub(/[ab]/,"g",$2);print $2}' sub用正则表达式替换,结果gg
awk -F"[ :]" '{ print $1 }' list.txt 同时使用两个分隔符
awk '$1=="1986" {print substr($2,1,3)}' list.txt 显示匹配的$2从1后3个字符
awk '{print substr($1,3)}' list.txt 显示每行第3字符后的字符
awk 'BEGIN{STR="hello"}END{print substr(STR,4)}' list.txt 从第四位开始即lo
echo "Stand-by" | awk '{print length($0)}' 统计变量字符个数
STR="mydoc.txt"; echo $STR|awk '{print substr($STR,1,5)}' 结果mydoc
echo "65" | awk '{printf "%c\n",$0}' 以ASCII码显示65即A
awk 'BEGIN{printf "%c\n",65}' 以ASCII码显示65
awk 'BEGIN{printf "%f\n",999}' 以符点数显示结果999.000000
awk -F"[: ]" '{printf "%-15s %s\n",$1,$2}' list.txt $1与$2分别1 5个字符长度
awk '{if ($1<QQ) print $0}' QQ=360565687 list.txt 传递参数给awk使用
awk 'BEGIN{QQ=360565687}{if ($1<QQ) print $0}' list.txt 传递参数给awk使用
awk 'BEGIN{FS=":"}{print $1,"\t",$2}' list.txt 此方式必须在begin指定分隔符
awk 'NF!=MAX{print("line "NR" does not "MAX"")}' MAX=2 list.txt 如域数不等于2则显示,C风格
awk 'BEGIN{print (1+2.5)*3}' 结果10.5,shell不能比较浮点数
awk 'BEGIN {split("123#456#789",my,"#");print my[1]}' 此时my[1]为第一个元素
awk -F: '{a[$1]=a[$1]"\n"$2;v[$1]++}END{for ( i in a )print "["i"]",v[i],a[i]}' qq.txt
//显示数组中的key其中i即key
awk '{for(i=1;i<100;i++){if($i ~/UN=/){print $2"\t"substr($5,2)" "$8" "$i}}}' kkk.txt
//使用标准风格的for语句
awk 'a=0;{for(i=1;i<=NF;i++)a+=$i;b=a/NF;print b}' 1.txt //求a.txt每行的平均值
awk '{for(i=1;i<=NF;i++)a[i]+=$i}{if(NR==3){for(i=1;i<=NF;i++){print a[i]/NR}}}' 1.txt
//计算一列的平均值