Shell编程三剑客之awk

一、awk工具

1、awk概述

• AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
• AWK是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
• 数据可以来自标准输入也可以是管道或文件
• 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

2、awk工具介绍

• 功能强大的编辑工具
• 无交互的情况下实现复杂的文本操作

命令格式
 

awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 …

awk -f 脚本文件 文件 1 文件 2 …

二、awk工作原理

• 当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
• 如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。
• awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
• 在使用awk命令的过程中,可以使用逻辑操作符"

&&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

三、awk内置变量

FS：输入字段分隔符，默认为空格或制表位（tab）

OFS：输出字段的分割符（默认是空格）

RS:输入行分隔符

ORS：输出行的分割符，默认为换行符

NF：当前处理的行的字段个数

NR：当前处理的行的行号（序数）

FNR：读取文件的记录行号（从1开始，若读取新的文件依旧是从1开始）

$0：当前处理的行的整行内容

$n：当前处理行的第n个字段（第n列）

显示一个空格，空格需要用双引号引起来，如果不用引号默认以变量看待，如果是常量就需要双引号引起来

四、awk用法示例

awk常用内置变量：$1、$2、NF、NR、$0

$1：代表第一列

$2：代表第二列以此类推

$0：代表整行

NF：一行的列数

NR：行数

2、BEGIN、END模块

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

• BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次
• END一般用来做汇总操作，仅在读取完数据记录之后执行一次

awk运算

3、模糊匹配

用~表示包含，!~表示不包含

加双引号表示精确匹配

4、数值与字符串比较

5、逻辑运算&&和||

打印出1~200之间所有能被7整除并且包含数字7的整数数字  

6、内置变量的用法

FS    输入字段的分隔符，默认是空格

OFS    输出字段的分隔符，默认也是空格

FNR    读取文件的记录数（行号），从1开始，新的文件重新从1开始计数

RS    输入行分隔符

ORS    输出行分隔符，默认也是换行符