网络三剑客之awk

最新推荐文章于 2024-08-30 14:11:28 发布

码农鑫哥的日常

最新推荐文章于 2024-08-30 14:11:28 发布

阅读量587

点赞数 22

文章标签： linux 运维服务器

本文链接：https://blog.csdn.net/qq_63994746/article/details/140687849

版权

一、awk理论简述

1.1 awk概述

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

作用：它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件
诞生背景：20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出，GNU/Linux发布的AWK目前由自由软件基金会（FSF）进行开发和维护，通常也称它为 GNU AWK

有多种版本：

AWK：原先来源于 AT & T 实验室的的AWK
NAWK：New awk，AT & T 实验室的AWK的升级版
GAWK：即GNU AWK。所有的GNU/Linux发布版都自带GAWK，它与AWK和NAWK完全兼容

1.2 工作原理

当读到第一行时，匹配条件，然后执行指定动作再接着读取第二行数据处理，不会默认输出如果没有定义匹配条件默认是匹配所有数据行。
awk隐含循环，条件匹配多少次动作就会执行多少次逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较、倾向于将一行分成多个""字段"然后再进行处理。awk 信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符" &&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.3 工作流程

1.3.1 运行模式

正则表达式 : /root/ 匹配含有 root 的行 /*.root/
关系表达式： < > && || + *
匹配表达式： ~ ！~ 动作：
变量命令内置函数流控制语句它的语法结构如下：

awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }'

file 其中：BEGIN END 是 AWK 的关键字部，因此必须大写；这两个部分开始块和结束块是可选的

1.3.2 执行流程

BEGIN 语句设置计数和打印头部信息，在任何动作之前进行

END 语句输出统计结果，在完成动作之后执行

AWK执行的流程非常简单：读（Read）、执行（Execute）与重复（Repeat）

下面的流程图描述出了AWK的工作流程

1.3.3 awk程序结构

开始块（BEGIN block）

顾名思义，开始块就是在程序启动的时候执行的代码部分，并且它在整个过程中只执行一次。一般情况下，我们在开始块中初始化一些变量。BEGIN是AWK的关键字，因此它必须是大写的。

注意：开始块部分是可选的，你的程序可以没有开始块部分

主体块（Body Block）

对于每一个输入的行，都会执行一次主体部分的命令。

默认情况下，对于输入的每一行，AWK都会执行命令。

注意：在主体块部分，没有关键字存在

结束块（END Block）

它是在程序结束时执行的代码。

END也是AWK的关键字，它也必须大写。

注意：与开始块相似，结束块也是可选的

AWK 它工作通过三个步骤

读（Read）：从文件、管道或标准输入中读入一行然后把它存放到内存中
执行（Execute）：对每一行数据，根据 AWK 命令按顺序执行。默认情况是处理每一行数据，也可以指定模式
重复（Repeat）：一直重复上述两个过程直到文件结束

1.4 基本语法

1.4.1 命令格式

awk 选项' 模式或条件{操作}' 文件1 文件2 ...

awk -f 脚本文件文件1 文件2 ..

格式：awk关键字选项命令部分 '{xxxx}' 文件名

**AWK 支持两种不同类型的变量：

内建变量(可直接使用)

自定义变量awk 内置变量（预定义变量）

FS：指定每行文本的字段分隔符，默认为空格或制表位
NF：当前处理的行的字段个数。在执行过程中对应于当前的字段数，NF：列的个数
NR：当前处理的行的行号（序数）。在执行过程中对应于当前的行号
$0：当前处理的行的整行内容
$n：当前处理行的第 n 个字段（第 n 列）。比如: $1 表示第一个字段，$2 表示第二个字段
FILENAME：被处理的文件名(当前输入文件的名)
FNR 各文件分别计数的行号
OFS 输出字段分隔符（默认值是一个空格）
ORS 输出记录分隔符（默认值是一个换行符）
RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读入一条记录,以进行处理。预设值是" \n'简说：数据记录分隔，默认为\n，即每行为一条记录

awk常用内置变量：$1、$2、NF、NR、$0

$1：代表第一列

$2：代表第二列以此类推

$0：代表整行

NF：一行的列数

NR：行数

二、awk操作显示

2.1 基础显示

注：扩展生产案例（网卡ip、流量）

2.2 BEGIN END 运算

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END一般用来做汇总操作，仅在读取完数据记录之后执行一次

2.2.1 awk运算

2.2.2 关于数字与字符串的比较

比较符号（==,!=,<=,>=,<,>）

逻辑运算 && ||

&& 和 || 是逻辑运算符，用于组合多个条件并控制程序流程

&& 要求所有条件都为真时才为真，否则为假

|| 只要有一个条件为真就为真，全为假时才为假

案列：

打印1-200之间所有能被7整除并且包含数字7的整数数字

其他内置变量的用法（FS（输入）、OFS、NR、FNR、RS、ORS）

FS：输入字段的分隔符默认是空格

OFS：输出字段的分隔符默认也是空格

FNR：读取文件的记录数（行号），从1开始，新的文件重新重1开始计数

RS：输入行分隔符默认为换行符

ORS：输出行分隔符默认也是为换行符

FS：

OFS：

FNR：

NR：

RX：

ORS:

2.3 awk高级用法

2.3.1 调用变量

调用函数getline，读取一行数据的时候并不是得到当前行而是下一行

2.4 awk if语句

awk的if语句也分为单分支、双分支和多分支

2.5 BEGIN END 流程

awk还支持for循环、while循环、函数、数组等

其他

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步：运行BEGIN{ commands }语句块中的语句
第二步：从文件或标准输入(stdin)读取一行。然后运行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行反复这个过程。直到文件所有被读取完成
第三步：当读至输入流末尾时，运行END{ commands }语句块

BEGIN语句块在awk开始从输入流中读取行之前被运行，这是一个可选的语句块，比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN语句块中
END语句块在awk从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END语句块中完毕，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分，它也是可选的。假设没有提供pattern语句块，则默认运行{ print }，即打印每个读取到的行。awk读取的每一行都会运行该语句块
这三个部分缺少任何一部分都可以

实例：

输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

通过管道、双引号调用

查看当前内存使用百分比

2.6 AWK 数组

注意：

BEGIN中的命令只执行一次
awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

2.7 awk循环

生产案例：

①结合数组和for循环

②使用awk统计httpd 访问日志中每个客户端IP的出现次数?

备注：

定义数组，数组名称为ip，数字的下标为日志文件的第1列（也就是客户端的IP地址)，++的目的在于对客户端进行统计计数，客户端IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

可用awk来统计固定格式日志里的一些数据

如日志中出现过所有不同的IP awk对文件进行流处理，每次读取一行。
$1就是IP，count[i]++是将IP作为一个数组的下标，并且使得统计这个IP所对应的数组元素自增1
.END后面的语句是打印结果，只执行一次
awk ‘{i=$1;count[i]++}END{for(i in count)print(i,count[i])}’ /var/log/httpd/access_log

脚本编写：

试题：怎么提取版本号 1.9.7

ant-1.9.7.jar

ant-launcher-1.9.7.jar

antlr-2.7.7.jar

antlr-runtime-3.4.jar

aopalliance-1.0.jar

archaius-core-0.7.6.jar

asm-5.0.4.jar

aspectjweaver-1.9.5.jar

bcpkix-jdk15on-1.64.jar

bcprov-jdk15-1.46.jar

bcprov-jdk15on-1.64.jar

checker-compat-qual-2.5.5.jar

三、总结

grep 和 egrep 文本过滤 (更适合单纯的查找或匹配文本)
sed 流编辑器实现编辑的(更适合编辑匹配到的文本)
awk 文本报告生成器实现格式化文本输出(更适合格式化文本，对文本进行较复杂格式处理)

码农鑫哥的日常

关注

22
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
网络三剑客之awk

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
复制链接

扫一扫