awk高级命令

awk高级命令

1.awk的介绍

awk是GNU的项目之一，是基于早期unix上的awk程序语言改善而来，所以现在我们在CentOS上用的awk其实是叫gawk。awk的作者这三个人：Aho，Kernighan，Weinberger，awk的命名方式是通过这三个人的名字的首字母而来。因为人们习惯用awk，所以后来干脆把awk创建了一个指向gawk的符号链接。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。

awk 编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输(stdin)、一个或多个文件，或其它命令的输出。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理

2.awk的使用

awk脚本通常由BEGIN语句+模式匹配+END语句三部分组成,这三部分都是可选项
其中 pattern 表示 AWK 在数据中查找的内容，而 commands 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来
awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息
awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本

3.awk结构

awk的基本操作是由输入行组成的序列中，陆续的扫描执行每一行，搜索可以被模式匹配的行，每一个输入行轮流被测试一遍，每匹配到一个模式，对应的动作就会执行，然后下一行开始，匹配重新开始，这个过程一直持续到文件被读取完毕为止。通常，模式是可选的，所以动作使用{}括起来，以便区分两者
命令行中的程序被单引号包围时，这个规定可以防止程序中的字符串(例如$)被shell解释,也可以让程序的的长度多于一行

4.awk命令形式

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
1
-F 指定输入行的分隔符，awk 命令默认分隔符为空格或制表符
-f 从脚本文件中读取 awk 脚本指令，以取代直接在命令行中输入指令
-v var=val 在执行处理过程之前，设置一个变量 var，并给其设备初始值为 val
’ ’ 引用代码块
// 匹配代码块，可以是字符串或正则表达式
{} 命令代码块，包含一条或多条命令
; 多条命令使用分号分隔
BEGIN 在 awk 程序一开始，未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
END 在 awk 程序处理完所有数据，即将结束时执行?END 后的动作只在程序结束时执行一次

注意

BEGIN 主要是初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
END 主要是结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

5.akw内置变量

$0 表示整个当前行
$1 ~ $n 当前记录的第N个字段
FS 输入字段分隔符（-F相同作用）默认空格
RS 输入记录分割符，默认换行符(即文本是按一行一行输入)
NF 字段个数就是列
NR 记录数，就是行号，默认从1开始
FNR 与NR类似，不过多文件记录不递增，每个文件都从1开始
OFS 输出字段分隔符，默认空格
ORS 输出记录分割符，默认换行符
\t 制表符
\n 换行符
~ 匹配，与==相比不是精确比较
!~ 不匹配，不精确比较
== 等于，必须全部相等，精确比较
!= 不等于，精确比较
&& 逻辑与

6.匹配模式

当awk读入一行是时，它试图匹配脚本中的每个模式匹配规则。只有与一个特定的模式相匹配的输入行才能成为操作对象。如果没有指定操作，于模式相匹配的输入行将被打印出来

[root@yyy ~]# cat tests 
This