awk命令用法

一、简介

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

二、基本语法

//awk [选项] ‘脚本命令’ 文件名

awk [选项参数] 'script' var=value file(s)

或者

awk [选项参数] -f scriptfile var=value file(s)

常用的选项参数

参数	注释
-F fs	指定输入文件拆分隔符，fs是一个字符串或者是一个正侧表达式，如-F
-v	赋值一个用户定义变量
-f	从脚本中读取awk命令
-W	在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
’ ’	引用代码块
//	匹配代码块，可以是字符串或正则表达式
{}	命令代码块，包含一条或多条命令
;	多条命令使用分号分隔
BEGIN	在 awk 程序一开始，未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
END	在 awk 程序处理完所有数据，即将结束时执行?END 后的动作只在程序结束时执行一次

举例

源文件

[root@localhost ~]# cat chenshunli.txt 
1 We are best
2 He is red
3 You are beautiful
4 In the moon 

输出文本中每行的第一列和第四列的字符

[root@localhost ~]# awk '{print $1,$4}' chenshunli.txt 
1 best
2 red
3 beautiful
4 moon

或者

awk -F #-F相当于内置变量FS, 指定分割字符

使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割
  awk -F '[ ,]'  '{print $1,$2,$4}'   chenshunli.txt

结果

[root@localhost ~]# awk -F '[ ,]'  '{print $1,$2,$4}' chenshunli.txt 
1 We best
2 He red
3 You beautiful
4 In moon 

awk常用的内置变量

参数	注释
$0	表示整个当前行
$1 ~ $n	当前记录的第N个字段
FS	输入字段分隔符（默认是空格)
RS	输入记录分割符，默认换行符(即文本是按一行一行输入)
NF	字段个数就是列
NR	记录数，就是行号，默认从1开始
FNR	与NR类似，不过多文件记录不递增，每个文件都从1开始
\n	换行符
~	匹配正则表达式
!~	不匹配正则表达式
*/ %	乘，除与求余
< <= > >= != ==	关系运算符
$	字段引用
OFS	输出字段分隔符，默认空格
ORS	输出记录分割符，默认换行符
= += -= *= /= %= ^= **=	赋值
&&	逻辑与

BEGIN关键字
awk 中还可以指定脚本命令的运行时机。默认情况下，awk 会从输入中读取一行文本，然后针对该行的数据执行程序脚本，但有时可能需要在处理数据前运行一些脚本命令，这就需要使用 BEGIN 关键字。

BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令，例如：

源文件

[root@localhost ~]# cat test.txt 
first
second
third
fourth

执行以下命令后

awk 'BEGIN {print "best"} {print $0}' test.txt 

结果

[root@localhost ~]# awk 'BEGIN {print "best"} {print $0}' test.txt 
best
first
second
third
fourth

[root@localhost ~]# 

可以看到，这里的脚本命令中分为 2 部分，BEGIN 部分的脚本指令会在 awk 命令处理数据前运行，而真正用来处理数据的是第二段脚本命令。

END关键字
和 BEGIN 关键字相对应，END 关键字允许我们指定一些脚本命令，awk 会在读完数据后执行它们，例如：

源文件 源文件

[root@localhost ~]# cat text.txt 
first
second
third
fourth

执行以下命令后

awk 'BEGIN {print "best"}{print $0} END {print"bad"}' text.txt

结果

[root@localhost ~]# awk 'BEGIN {print "best"}{print $0} END {print"bad"}' text.txt 
best
first
second
third
fourth

bad

可以看到，当 awk 程序打印完文件内容后，才会执行 END 中的脚本命令。

NF
变量定义为当前输入记录的字段个数(即有几列)
源文件

源文件

[root@localhost ~]# cat csl.txt
jike 85 92 75 91 82
rose 89 90 75 95 86 87
alice 82 83 80 93 84 94 81

​ 查询每行数据有多少列

[root@localhost ~]# awk '{print NF}' csl.txt
6
7
8

给NF加上$,就是查询各行的最后一列

[root@localhost ~]# awk '{print $NF}' csl.txt 
82
87
81

NR
NR是每行的记录号，也就是行号，多文件记录递增
源文件

源文件

[root@localhost ~]# cat csl.txt
jike 85 92 75 91 82
rose 89 90 75 95 86 87
alice 82 83 80 93 84 94 81

输出每一行的第一列，并输出行号

[root@localhost ~]# awk '{print NR $1}' csl.txt
1jike
2rose
3alice

​ 输出每一行的第一列，并输出行号且用 “.”（点）分割

[root@localhost ~]# awk '{print NR "." $1}' csl.txt
1.jike
2.rose
3.alice