AWK单行脚本快速参考

文本间隔：


 
 
# 
每行后面增加一行空行

 
awk '1;{print ""}'

 
awk 'BEGIN{ORS="/n/n"};1'

 
 
# 
每行后面增加一行空行。输出文件不会包含连续的两个或两个以上的空行 


 
# 
注意：在Unix
系统， DOS
行包括的 CRLF 
（/r/n
）通常会被作为非空行对待

 
# 
因此 'NF' 
将会返回TRUE
。

 
awk 'NF{print $0 "/n"}'

 
 
# 
每行后面增加两行空行

 
awk '1;{print "/n"}'

 
编号和计算：


 
 
# 
以文件为单位，在每句行前加上编号 （左对齐）

 
# 
使用制表符 （/t
）来代替空格可以有效保护页变的空白。

 
awk '{print FNR "/t" $0}' files*

 
 
# 
用制表符 （/t
）给所有文件加上连贯的编号。

 
awk '{print NR "/t" $0}' files*

 
 
# 
以文件为单位，在每句行前加上编号 （编号在左，右对齐）

 
# 
如果在DOS
环境下，需要写两个'%'


 
awk '{printf("%5d : %s/n", NR,$0)}'

 
 
# 
给非空白行的行加上编号

 
# 
记得Unix
对于 /r 
的处理的特殊之处。（上面已经提到）

 
awk 'NF{$0=++a " :" $0};{print}'

 
awk '{print (NF? ++a " :" :"") $0}'

 
 
# 
计算行数 （模拟 "wc -l"
）

 
awk 'END{print NR}'

 
 
# 
计算每行每个区域之和

 
awk '{s=0; for (i=1; i<=NF; i++) s=s+$i; print s}'

 
 
# 
计算所有行所有区域的总和

 
awk '{for (i=1; i<=NF; i++) s=s+$i}; END{print s}'

 
 
# 
打印每行每区域的绝对值

 
awk '{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }'

 
awk '{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'

 
 
# 
计算所有行所有区域（词）的个数

 
awk '{ total = total + NF }; END {print total}' file

 
 
# 
打印包含 "Beth" 
的行数

 
awk '/Beth/{n++}; END {print n+0}' file

 
 
# 
打印第一列最大的行

 
# 
并且在行前打印出这个最大的数

 
awk '$1 > max {max=$1; maxline=$0}; END{ print max, maxline}'

 
 
# 
打印每行的列数，并在后面跟上此行内容

 
awk '{ print NF ":" $0 } '

 
 
# 
打印每行的最后一列

 
awk '{ print $NF }'

 
 
# 
打印最后一行的最后一列

 
awk '{ field = $NF }; END{ print field }'

 
 
# 
打印列数超过4
的行

 
awk 'NF > 4'

 
 
# 
打印最后一列大于4
的行

 
awk '$NF > 4'

 
构建字符串：


 
 
# 
构建一指定长度的字符串（比如，513
个空格）

 
awk 'BEGIN{while (a++<513) s=s " "; print s}'

 
 
# 
在某一位置中插入以特定长度的字符串

 
# 
例子：在每行第6
列后插入49
个空格

 
gawk --re-interval 'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'

 
构建数组：


 
 
# 
以下两个部分并不是一句话脚本，但是这些技巧相当便捷所以也包括进来


 
 
# 
构建一个叫"month"
的数组，以数字为索引，month[1]
就是'Jan'
，month[2]
就是

 
# 'Feb'
，month[3]
就是'Mar'
，以此类推。

 
split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")

 
 
# 
构建一个叫"mdigit"
的数组，以字符串为索引，mdigit["Jan"] 
等于 1
，

 
# mdigit["Feb"] 
等于 2
，等等。需要有"month"
数组。

 
for (i=1; i<=12; i++) m_digit[month[i]] = i

 
文本转换和替代：


 
 
# 
在Unix
环境：转换DOS
新行 （CR/LF
） 为Unix
格式

 
awk '{sub(//r$/,"")};1'   
# 
假设每行都以Ctrl-M
结尾

 
 
# 
在Unix
环境：转换Unix
新行 （LF
） 为DOS
格式

 
awk '{sub(/$/,"/r")};1'

 
 
# 
在DOS
环境：转换Unix
新行 （LF
） 为DOS
格式

 
awk 1

 
 
# 
在DOS
环境：转换DOS
新行 （CR/LF
） 为Unix
格式

 
# DOS
版本的awk
不能运行, 
只能用gawk:


 
gawk -v BINMODE="w" '1' infile >outfile

 
 
# 
用 "tr" 
替代的方法。

 
tr -d /r <infile >outfile            
# GNU tr 
版本为 1.22 
或者更高

 
 
# 
删除每行前的空白（包括空格符和制表符）

 
# 
使所有文本左对齐

 
awk '{sub(/^[ /t]+/, "")};1'

 
 
# 
删除每行结尾的空白（包括空格符和制表符）

 
awk '{sub(/[ /t]+$/, "")};1'

 
 
# 
删除每行开头和结尾的所有空白（包括空格符和制表符）

 
awk '{gsub(/^[ /t]+|[ /t]+$/,"")};1'

 
awk '{$1=$1};1'           
# 
每列之间的空白也被删除

 
 
# 
在每一行开头处插入5
个空格（做整页的左位移）

 
awk '{sub(/^/, "     
")};1'

 
 
# 
用79
个字符为宽度，将全部文本右对齐

 
awk '{printf "%79s/n", $0}' file*

 
 
# 
用79
个字符为宽度，将全部文本居中对齐

 
awk '{l=length();s=int((79-l)/2); printf "%"(s+l)"s/n",$0}' file*

 
 
# 
每行用 "bar" 
查找替换 "foo"


 
awk '{sub(/foo/,"bar")}; 1'           
# 
仅仅替换第一个找到的"foo"


 
gawk '{$0=gensub(/foo/,"bar",4)}; 1'  
# 
仅仅替换第四个找到的"foo"


 
awk '{gsub(/foo/,"bar")}; 1'          
# 
全部替换

 
 
# 
在包含 "baz" 
的行里，将 "foo" 
替换为 "bar"


 
awk '/baz/{gsub(/foo/, "bar")}; 1'

 
 
# 
在不包含 "baz" 
的行里，将 "foo" 
替换为 "bar"


 
awk '!/baz/{gsub(/foo/, "bar")}; 1'

 
 
# 
将 "scarlet" 
或者 "ruby" 
或者 "puce" 
替换为 "red"


 
awk '{gsub(/scarlet|ruby|puce/, "red")}; 1'

 
 
# 
倒排文本 （模拟 "tac"
）

 
awk '{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }' file*

 
 
# 
如果一行结尾为反斜线符，将下一行接到这行后面

 
# 
（如果有连续多行后面带反斜线符，将会失败）

 
awk '///$/ {sub(///$/,""); getline t; print $0 t; next}; 1' file*

 
 
# 
排序并打印所有登录用户的姓名

 
awk -F ":" '{ print $1 | "sort" }' /etc/passwd

 
 
# 
以相反的顺序打印出每行的前两列

 
awk '{print $2, $1}' file

 
 
# 
调换前两列的位置

 
awk '{temp = $1; $1 = $2; $2 = temp}' file

 
 
# 
打印每行，并删除第二列

 
awk '{ $2 = ""; print }'

 
 
# 
倒置每行并打印

 
awk '{for (i=NF; i>0; i--) printf("%s ",i);printf ("/n")}' file

 
 
# 
用逗号链接每5
行

 
awk 'ORS=NR%5?",":"/n"' file 

 
选择性的打印某些行：

 
 
# 
打印文件的前十行 （模拟 "head"
）

 
awk 'NR < 11'

 
 
# 
打印文件的第一行 （模拟 "head -1"
）

 
awk 'NR>1{exit};1'

 
  
# 
打印文件的最后两行 （模拟 "tail -2"
）

 
awk '{y=x "/n" $0; x=$0};END{print y}'

 
 
# 
打印文件的最后一行 （模拟 "tail -1"
）

 
awk 'END{print}'

 
 
# 
打印匹配正则表达式的行 （模拟 "grep"
）

 
awk '/regex/'

 
 
# 
打印不匹配正则表达式的行 （模拟 "grep -v"
）

 
awk '!/regex/'

 
 
# 
打印第5
列等于"abc123"
的行

 
awk '$5 == "abc123"'

 
 
# 
打印第5
列不等于"abc123"
的行

 
# 
这个同样可以用于打印少于5
列的行

 
awk '$5 != "abc123"'

 
awk '!($5 == "abc123")'

 
 
# 
用正则匹配某一列

 
awk '$7  
~ /^[a-f]/'    
# 
打印第7
列匹配的行

 
awk '$7 !~ /^[a-f]/'    
# 
打印第7
列不匹配的行

 
 
# 
打印匹配正则表达式的前一行，但是不打印当前行

 
awk '/regex/{print x};{x=$0}'

 
awk '/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}'

 
 
# 
打印匹配正则表达式的后一行，但是不打印当前行

 
awk '/regex/{getline;print}'

 
 
# 
以任何顺序查找包含 AAA
、BBB 
和 CCC 
的行

 
awk '/AAA/; /BBB/; /CCC/'

 
 
# 
以指定顺序查找包含 AAA
、BBB 
和 CCC 
的行

 
awk '/AAA.*BBB.*CCC/'

 
 
# 
打印长度大于64
个字节的行

 
awk 'length > 64'

 
 
# 
打印长度小于64
个字节的行

 
awk 'length < 64'

 
 
# 
打印从匹配正则起到文件末尾的内容

 
awk '/regex/,0'

 
awk '/regex/,EOF'

 
 
# 
打印指定行之间的内容 （8-12
行, 
包括第8
和第12
行）

 
awk 'NR==8,NR==12'

 
 
# 
打印第52
行

 
awk 'NR==52'

 
awk 'NR==52 {print;exit}'          
# 
对于大文件更有效率

 
 
# 
打印两个正则匹配间的内容 （包括正则的内容）

 
awk '/Iowa/,/Montana/'             
# 
大小写敏感

 
 
选择性的删除某些行：


 
 
# 
删除所有空白行 （类似于 "grep '.' "
）

 
awk NF

 
awk '/./'

 
 
# 
删除重复连续的行 （模拟 "uniq"
）

 
awk 'a !~ $0; {a=$0}'

 
 
# 
删除重复的、非连续的行

 
awk '! a[$0]++'     
                
# 
最简练

 
awk '!($0 in a) {a[$0];print}'      
# 
最有效

 
致谢：

 
特别感谢 Peter S. Tillier 
帮助我完成了一版的FAQ
。同样感谢Daniel Jana
、

董一粟和其他提出建议和修正的人。

 
更多的语法指令，包括用文件脚本来使用awk
，可以参考如下：

 
"sed & awk, 2nd Edition," by Dale Dougherty and Arnold Robbins

  
O'Reilly, 1997

"UNIX Text Processing," by Dale Dougherty and Tim O'Reilly

  
Hayden Books, 1987

  
"GAWK: Effective awk Programming," 3d edition, by Arnold D. Robbins

  
(O'Reilly, 2003) 
或者网址 http://www.gnu.org/software/gawk/manual/


 
为了能开发awk
的强大功能，开发人员必须知道 "
正则表达式"
。关于正则

的详细讨论，可以查看 


"Mastering Regular Expressions, 3d edition" by Jeffrey Friedl (O'Reilly,

2006).

 
在Unix
系统下info
和帮助手册("man")
会非常有帮助（尝试使用"man awk"
、

"man nawk"
、"man gawk"
、"man regexp"
或者"man ed"
里面的正则表达式章节）。

 
在awk
脚本里面使用 '/t'
：为了使文档变得清晰，我们在脚本里使用了表达式'/t'


来显示一个制表符（0x99
）。所有awk
的版本，甚至UNIX
系统7
的版本应该能认出

'/t'
这种缩写。

 
#---
文件结尾---