shell之三剑客awk（基础用法）

最新推荐文章于 2024-07-29 15:34:36 发布
最新推荐文章于 2024-07-29 15:34:36 发布
阅读量3.9w 收藏 671
点赞数 96
分类专栏： Shell脚本 文章标签： 正则表达式 linux 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57515995/article/details/125713566
版权
本文深入介绍了awk命令，它是一种强大的文本分析工具。重点讲解了awk的工作原理、基本格式，以及一系列内置变量如$0、NF、NR的使用方法，并通过实例演示了如何进行列操作、行处理、条件匹配和文件处理。awk还支持模糊匹配和数值与字符串比较，适合用于数据提取、转换等任务。文章通过多个面试题展示了awk在实际问题中的应用。
摘要由CSDN通过智能技术生成

文章目录

一、awk概述

AWK是一种处理文本文件的语言，是一个强大的文件分析工具。

它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描，过滤，统计汇总等工作，数据可以来自标准输入也可以是管道或文件。

1、awk工作原理

  • 当读到第一行时，匹配条件，然后执行指定动作，在接着读取第二行数据处理，不会默认输出。

  • 如果没有定义匹配条件，则是默认匹配所有数据行，awk隐含循环，条件匹配多少次，动作就会执行多少次。

  • 逐行读取文本，默认以空格或tab键为分割符进行分割，将分割所得的各个字段，保存到内建变量中，并按模式或或条件执行编辑命令。

与sed工作原理相比：

sed命令常用于一整行的处理。而awk比较倾向于将一行分成多个 “ 字段 ” 然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符。（&&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。）

二、awk的格式

格式1:  awk  【选项】 '模式或条件{操作} '    文件名

格式2: awk  -f  脚本文件   文件名

1、awk包含几个特殊的内建变量（可直接用）如下所示

内置变量功能
NF当前处理的行的字段个数（就是：有多少列）
NR当前处理的行的行号（就是：有多少行）
FNR读取文件的记录数（行号），从1开始，新的文件重新从1开始计数
$0当前处理的行的整行内容（就是：表示一行的内容）
$n当前处理行的第n个字段（就是：第n列）
FILENAME被处理的文件名
FS指定每行的字段分隔符，默认为空格或制表位（相当于选项 -F ）
OFS输出字段的分隔符，默认也是空格
RS行分割符。awk从文件上读取资料时，将根据Rs的定义把资料切割成许多条记录，而awk一次仅读取一条记录，预设值是“\n“
ORS输出分割符，默认也是换行符

三、内置变量演示

1、【$n】进行演示

n为数字，数字为及就表示第几列

案例1：结合print进行输出，默认分隔符。

在这里插入图片描述

案例2：设定分割符号

在这里插入图片描述

案例3：输出时，显示列的空格

在这里插入图片描述

案例4：两列之间插入制表符

在这里插入图片描述

案例5：设置多个分割符

在这里插入图片描述

2、【$0】的演示

$0表示整行

在这里插入图片描述

3、【NF】(多少列) 和 【NR】(多少行)的演示

NR：表示该处理的行序号是多少

NF：表示该处理的行，有多少列

案例1：打印每一行的列数

在这里插入图片描述

案例2：显示行号

在这里插入图片描述

案例3：显示行号，并显示每一行的内容

在这里插入图片描述

案例4：打印第二行，不加print也一样，默认就是打印

在这里插入图片描述

案例5：打印第二行的第一列

在这里插入图片描述

案例6：打印最后一列

在这里插入图片描述

案例7：打印总行数

在这里插入图片描述

案例8：打印文件最后一行

在这里插入图片描述

案例9：加上文字描述行数和列数

在这里插入图片描述

4、面试题

案例1：查看本机的ip地址多少，截取出来

在这里插入图片描述

案例2：查看本机流量有多少字节

在这里插入图片描述

案例3：查看根分区的可用量

在这里插入图片描述

5、BEGIN开始和END结尾

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END。

  • BEGIN：一般用来做初始化操作，仅在读取数据记录之前执行一次
  • END：一般用来做汇总操作，仅在读取完数据记录之后执行一次

在这里插入图片描述

案例1：在打印之前定义字段分割符为冒号

在这里插入图片描述

案例2：OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格

在这里插入图片描述

案例2：可以看到当有多个文件时，序号会分别标好每一个文件内容的行号，不同文件会从头开始。（NR会连续在一起）

在这里插入图片描述

案例3：RS:指定以什么为换行符，这里指定是冒号，你指定的必须是原文里存在的字符

在这里插入图片描述

案例4：把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键

在这里插入图片描述

6、模糊匹配

精确匹配： 可以将要匹配的内容加上双引号。

用~表示包含，用!~表示不包含

在这里插入图片描述

7、关于数值与字符串的比较

在这里插入图片描述

加上逻辑运算： && ||

在这里插入图片描述

案例：打印1-200之间所有能被7整除并且包含数字7的整数数字

在这里插入图片描述

四、总结

awk常用操作是提取转换文本文件内容，awk功能十分强大，几乎其它文本处理命令能做的，awk都能做。

此处主要介绍awk的几种内置变量。

  • $n：表示截取哪一列，通常和print一起使用
  • $0：表示整行内容
  • NF：表示该行有多少列
  • NR：表示该行的行号
  • FNR：表示读取两个文件时，序号会分别从0开始标
  • FS：表示读取文件的分隔符（默认空格）
  • OFS：表示输入的内容以什么为分割符（默认空格）
  • RS：表示读取文件的以什么为换行符（默认\n）
  • ORS：表示输出的内容以什么为换行符（默认\n）
  • ~：表示包含
  • ！~：表示不包含
yu.deqiang
关注
  • 96
    点赞
  • 踩
  • 671
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【linux】Shell脚本三剑客之awk命令的详细用法攻略
景天科技苑
07-24 1万+
在Linux和Unix系统中，awk是一种强大的文本处理工具，广泛应用于数据提取、分析和报告生成。它基于模式匹配和条件执行，能够逐行读取输入文本文件，并对每行数据执行指定的操作。本教程将详细介绍`awk`在shell脚本中的用法，包括其基本语法、常用选项、内置变量、高级特性以及结合shell脚本的实际案例。
shell三剑客之awk
weixin_55609816的博客
05-23 329
awk 二级标题
“Linux文本三剑客”中的awk命令
pupcarrot的博客
10-04 201
NR需要处理的行号FS列分割符，和-F作用一致OFS输出内容的列分隔符NF表示最后一个字段。
awk的常见用法
ynyysn的博客
02-14 8414
awk 概述:AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据 可以来自标准输入也可以是管道或文件。 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk，之所以叫 AwK是因为其取了三位创 始人Alfred Aho，Peter Weinberger，和 Brian Kernighan 的 Family Mame的首字符。 工作原理: 当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二
文本编辑三剑客(awk)
最新发布
qq_59677536的博客
07-29 871
awk作为和sed、grep同级的文本处理命令，也又强大的文本分析功能，同样，它的原理并不困难，但操作很多且很杂，可以通过不同的需求进行自定义搭配。
Shell脚本之awk篇
weixin_33854644的博客
07-17 849
Shell脚本之awk篇 目录： 一、概述 二、awk基本语法格式 三、awk基本操作 四、awk条件及循环语句 五、awk函数 六、awk演示示例(源自于man手册) 一、概述 1. 产品概述：     awk是一种编程语言，用于在linux/unix下对文本和数据进行扫描与处理。数据可以来自标准输入、文件、管道。     awk分别代表其作者姓氏的第一个字母。因为它的...
shell awk 入门
weixin_34233618的博客
07-11 145
awk：好用的数据处理工具   awk 也是一个非常棒的数据处理工具！sed 常常用于一整个行的处理， awk 则比较倾向于一行当中分成数个『栏位』（或者称为一个域，也就是一列）来处理。因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运行的模式是这样的： [root@www ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename awk ...
shell中awk用法
weixin_30878361的博客
07-30 109
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfr...
shell awk用法
luoyir1997的博客
11-10 1215
我们先来用专业的术语描述一下awk是什么，如果你看不懂，没关系，我们会再用"大白话"解释一遍。 awk是一个报告生成器，它拥有强大的文本格式化的能力，这就是专业的说法。 你可能不理解所谓的报告生成器中的"报告"是什么，你可以把"报告"理解为"报表"或者"表格",也就是说，我们可以利用awk命令，将一些文本整理成我们想要的样子，比如把一些文本整理成"表"的样子，然后再展示出来，刚才概念中提到的"文本格式化的能力"，也就是这个意思，其实这样说可能还是不太容易理解，不用着急，当你看到后面的"示例"时，自然
shell脚本三剑客之AWK
weixin_63634809的博客
02-14 1830
文章目录一、AWK工具介绍1.1 AWK 命令的格式1.2 AWK 工作原理1.3 常见的内建变量二、AWK 命令的使用1.打印文本内容 一、AWK工具介绍 AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也适行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具 可以在无交互的模式下实现复杂的文本操作 相较于 sed 常作用于一整个行的处理，awk ..
Shell脚本三剑客之awk、sed、grep
wwwu1998的博客
05-12 312
Shell脚本三剑客之awk、sed、grep
shell脚本之AWK-AWK的详细介绍
chen__yang_的博客
03-16 1337
一、AWK简介 二、AWK功能 三、AWK的工作流程 四、AWK程序执行 五、AWK的基本语法
Shell中的AWK
YUEAwb的博客
01-30 3122
printf%s：显示字符串%d, %i：显示十进制整数%f：显示为浮点数%e, %E：显示科学计数法数值%c：显示字符的ASCII码%g, %G：以科学计数法或浮点形式显示数值%u：无符号整数%%：显示%自身##############做成一个表格###########################
shell awk
weixin_30917213的博客
11-27 69
grep-c 只打印匹配模式的行编号记数-I 在匹配文本时忽略大小写-n 在每行前显示其行编号-v 逆向输出，打印不匹配的行-f file 要匹配的字符串列表在filezhonggrep ‘[Tt]his’ file1.txt 设置大小写grep ‘^[^#]‘ file2.txt 不匹配行首grep “s…n” file3.txt 匹配任意字符sed 行编...
shell awk 基本用法
weixin_43936711的博客
04-28 616
shell awk 基本用法 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具,之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符 一、基本语法格式 awk [选项参数] 'script' var=value file(s) or awk [选项参数] -f scriptfile var=value file(s) 用法一： awk '{
shell脚本--awk的用法
热门推荐
菜鸟博客
02-03 7万+
语法格式：awk [选项] '指令' 操作文件 常用选项：-F 指定分隔符，分隔符用""引起来 -v：var=value在awk程序开始之前指定一个值valu给变量var，这些变量值用于awk程序的BEGIN快 -f：后面跟一个保存了awk程序的文件，代替在命令行指定awk程序 实例1：在命令行直接输入awk指令 awk '{print}' 1.txt #逐行读取文件1.t...
【shell】awk基本用法
sodaloveer的博客
05-06 2647
awk基本用法及举例
Linux awk用法
weixin_34235457的博客
04-09 141
在学习awk之前我们应该都学过sed,grep,tr,cut等等命令，这些命令都是为了方便我们对Linux下文本和数据的处理，但是我们会发现很多时候这些命令并不能一下子就完全解决我们的需求，很多时候我们都需要使用管道符结合这些命令来使用，今天我就给大家介绍一个命令awk，他就能很好的解决我们对文本和数据处理的需求，使我们一条命令就解决很多问题。 一、awk命令简介 awk被称为文本处理三剑客之一，...
Shell脚本中awk的使用
jcrhl321的博客
04-26 5186
一、awk 1、awk工作原理 逐行读取文本，默认以空格或TAB键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。 awk信息的读入也是逐行读取的，执行结果可以通过print的功能将数据字段打印显示。 在使用awk命令的过程中，可以使用逻辑操作符“&&”表示“与”、“| |”表示“或”、“!“表示“非”;还可以进行简单的数学运算，如+、-、*、/、%、^..
shell脚本中awk的用法
06-28
### 回答1： awk是一种文本处理工具，常用于shell脚本中。它可以读取文本文件，对每一行进行处理，并输出结果。awk的基本语法为： awk 'pattern {action}' file 其中，pattern是一个正则表达式，用于匹配文本中的某些行；action是一个命令序列，用于对匹配到的行进行处理。awk会自动将每一行分割成若干个字段，可以通过$1、$2等变量来访问这些字段。例如，以下命令可以输出文件中第一列的内容： awk '{print $1}' file 除了基本语法外，awk还有很多高级用法，例如可以使用内置函数、变量、数组等。可以参考awk的官方文档或其他教程来学习更多内容。 ### 回答2： awk是一种文本处理工具，在shell脚本中经常用于对数据文件进行处理。它可以对文件进行逐行扫描，并按照指定的规则进行分割、匹配和处理。以下是awk在shell脚本中的用法详解： 1. 基本语法 awk 'pattern { command }' filename 其中，pattern是匹配模式，用于匹配文件中的文本；command是要执行的命令，可以是一行或多行。filename是要处理的文件名。 2. 变量 在awk中有很多内置变量可以使用，例如： - $0：表示整行文本 - $1, $2, $3...：表示第一、二、三列文本 - NF：表示当前行的列数 - NR：表示当前行的行号 - FS：表示字段分隔符，默认为制表符或空格 可以使用这些变量来进行数据的处理和统计。 3. 示例 下面是一些常用的awk示例： （1）从文件中抽取出第一列 $ awk '{print $1}' file.txt （2）统计文件中每行的单词数 $ awk '{print NF}' file.txt （3）筛选出文件中包含关键词的行 $ awk '/keyword/' file.txt （4）计算文件中各列的和 $ awk '{sum += $1 + $2 + $3} END {print sum}' file.txt （5）替换文本中的字符串 $ awk '{gsub("oldstring", "newstring")}1' file.txt 4. 总结 awk是一种非常强大的文本处理工具，它能够根据指定的模式从文本中提取信息，并对其进行处理和统计。熟练掌握awk的使用可以让我们更轻松地处理和分析大量文本数据。 ### 回答3： Shell脚本是编程语言之一，它可以利用awk命令来处理和分析文本数据。awk命令是Linux/Unix系统中经常使用的一个工具，可以对文本文件或标准输入数据进行扫描、过滤、处理和分析，从而很好地完成文本处理的任务。 在Shell脚本中，使用awk命令需要按照如下结构： ```bash awk 'commands' filename ``` 其中，`commands`是awk命令的参数，可以是简单的字符串或复杂的处理脚本。`filename`是需要处理和分析的文件名或者通过管道传输的标准输入数据。 awk命令的一些常用参数和语法如下： 1. `awk '{pattern + action}' filename`：在文件中搜索指定的模式或文本，并对匹配模式的行执行指定的操作。 2. `awk '{print $n}' filename`：将文件中的某列数据提取出来进行打印输出，$1表示第一列数据，$2表示第二列数据，以此类推。 3. `awk -F: '{print $1,$3}' filename`：指定文件的分隔符为“:”，然后提取文件的第一列和第三列数据。 4. `awk '{sum+=$1} END {print sum}' filename`：计算文件中的数据列的总和值，并进行输出。 5. `awk '/re/ {print $0}' filename`：搜索指定的正则表达式re，并将匹配的行输出。 6. `awk '{if($1="xxx") print $0}' filename`：对文件中的指定数据列进行筛选，符合条件就进行输出。 以上是awk命令的一些常用参数和语法，值得注意的是，awk命令非常强大，可以完成很多复杂的文本处理和数据分析，几乎可以操作所有的文本数据。所以，对于Shell脚本中的awk用法，需要根据具体的需求和场景进行灵活运用和学习。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值