linux基础——awk

原创 已于 2022-05-23 20:29:33 修改 · 941 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #unix #正则表达式

于 2022-05-13 21:02:07 首次发布

提示：
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

awk

一、awk是什么？

awk是处理⽂本⽂件的⼀个应⽤程序，⼏乎所有系统都⾃带这个程序。 它依次处理⽂件的每⼀⾏，并读取⾥⾯的每⼀个字段。对于⽇志、CSV 那样的每⾏格式相同的⽂本⽂件，awk可能是最⽅便的⼯具。 awk其实不仅仅是⼯具软件，还是⼀种编程语⾔。不过，本⽂只介绍它的命令⾏⽤法，对于⼤多数场合，应该⾜够⽤了。

二、awk语法结构

1、awk脚本基本格式

# awk 'BEGIN{ commands } pattern{ commands } END{ commands }' file 
// 一个awk脚本通常由BEGIN，通用语句块，END语句块组成，三部分都是可选的。 
// 脚本通常是被单引号或双引号包住。

2、awk常用参数_示例

2.1 print打印

[root@localhost awk_test]# cat linshi.txt 
ver01	zpzp
ver02	zwzw

// print是awk打印指定内容的主要命令
[root@localhost awk_test]# awk '{print}' linshi.txt 
ver01	zpzp
ver02	zwzw

//不输出txt里的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
[root@localhost awk_test]# awk '{print " "}' linshi.txt 
 
 
[root@localhost awk_test]#
//输出相同个数的a行，一行只有一个a字母
[root@localhost awk_test]# awk '{print "a"}' linshi.txt 
a
a
[root@localhost awk_test]#

2.2 -F 指定输入分隔符

-F fs fs指定输入分隔符，fs可以是字符串或正则表达式

2.2.1 $n 列出当前记录的第n个字段
//将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
//$n : 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
[root@localhost awk_test]# awk -F ' ' '{print $1}' linshi.txt 
ver01
ver02
[root@localhost awk_test]# awk -F ' ' '{print $2}' linshi.txt 
zpzp
zwzw
2.2.2 将第1个和第2个字段 分行 输出

’{print $x;print $y}‘

//将第1个和第2个字段分行输出
[root@localhost awk_test]# awk -F ' ' '{print $1;print $2}' linshi.txt 
ver01
zpzp
ver02
zwzw
2.2.3 将第1个和第2个字段以空格作为间隔输出

'{print $1,$2}'

//将第1个和第2个字段以空格作为间隔输出
[root@localhost awk_test]# awk -F ' ' '{print $1,$2}' linshi.txt 
ver01 zpzp
ver02 zwzw
2.2.4 将$1与$2相连输出，不分隔

'{print $1 $2}'

// $1与$2相连输出，不分隔
[root@localhost awk_test]# awk -F ' ' '{print $1 $2}' linshi.txt 
ver01zpzp
ver02zwzw
2.2.5 将第一和第二个字符用-连接，输出

'{print $1 "-" $2}'

//将第一和第二个字符用-连接，输出
[root@localhost awk_test]# awk -F " " '{print $1 "-" $2}' linshi.txt 
ver01-zpzp
ver02-zwzw
2.2.6 只输出以空格分隔的第二个字符

awk -F ' ' '{print $2}'

//只输出以空格分隔的第二个字符
[root@localhost awk_test]# cat linshi.txt | awk -F ' ' '{print $2}'
zpzp
zwzw

[root@localhost awk_test]# cat zptest.txt 
$n : 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
$0 : 这个变量包含执行过程中当前行的文本内容。
ARGC : 命令行参数的数目。

//取以冒号分隔的第二个字段
[root@localhost awk_test]# awk -F: '{print $2}' zptest.txt 
 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
 这个变量包含执行过程中当前行的文本内容。
 命令行参数的数目。

//取以“空格:空格”分隔的第二个字段
[root@localhost awk_test]# awk -F' : ' '{print $2}' zptest.txt 
当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
这个变量包含执行过程中当前行的文本内容。
命令行参数的数目。
命令行中当前文件的位置（从0开始算）。
包含命令行参数的数组。
数字转换格式（默认值为%.6g）。
2.2.6 awk自定义输出

'{print "name:" $1 "\t\t age:" $2}'
【\t表示tab】

//自定义输出
[root@localhost awk_test]# awk -F " " '{print "num:" $1 "\t\t name:" $2}' linshi.txt 
num:ver01		 name:zpzp
num:ver02		 name:zwzw
2.2.7 NF 显示每行有多少字段

显示每行有多少字段,NF起了作用
'{print NF}'

//显示每行有多少字段,NF起了作用
[root@localhost awk_test]# cat awktest02.txt 
aa bb cc
aa bb cc dd ee
aa bb
aa
aaa bbb ccf
a b c d e f gg    ab

//将每行第NF个字段的值打印出来
[root@localhost awk_test]# awk -F " " '{print NF}'  awktest02.txt 
3
5
2
1
3
8
2.2.8 将每行第NF个字段的值打印出来

'{print $NF}'

// 将每行第NF个字段的值打印出来
[root@localhost awk_test]# awk -F " " '{print $NF}'  awktest02.txt 
cc
ee
bb
aa
ccf
ab
2.2.9 显示只有3个字段的行

'NF==3{print}'

//显示只有3个字段的行
[root@localhost awk_test]# awk -F " " 'NF==3{print}' awktest02.txt 
aa bb cc
aaa bbb ccf
2.2.10 显示每行字段数量大于4的行

'NF>4{print}'

//显示每行字段数量大于2的行
[root@localhost awk_test]# awk -F " " 'NF>4{print}' awktest02.txt 
aa bb cc dd ee
a b c d e f gg    ab
2.2.11 输出每行的行号及内容

{print NR $0}'
NR：行号
$0：输出内容

//输出每行的行号【其中$0表示展示所在行的数据信息】
[root@localhost awk_test]# awk -F " " 'NF>4{print NR}' awktest02.txt 
2
6
[root@localhost awk_test]# awk -F " " 'NF>4{print NR $0}' awktest02.txt 
2aa bb cc dd ee
6a b c d e f gg    ab
[root@localhost awk_test]# awk -F " " 'NF>4{print NR ":" $0}' awktest02.txt 
2:aa bb cc dd ee
6:a b c d e f gg    ab
2.2.12 NR 显示第4行

'NR==4{print}'

//显示第4行
[root@localhost awk_test]# cat awktest02.txt 
aa bb cc
aa bb cc dd ee
aa bb
aa
aaa bbb ccf
a b c d e f gg    ab

[root@localhost awk_test]# awk -F: 'NR==4{print}' awktest02.txt 
aa
[root@localhost awk_test]# awk -F: 'NR==4{print NR}' awktest02.txt 
4
[root@localhost awk_test]# awk -F: 'NR==4{print NR $0}' awktest02.txt 
4aa
2.2.13 NR 显示第4行和第6行

'NR==4 || NR==6{print NR ":" $0}' 

//显示第4行和第6行
[root@localhost awk_test]# awk -F: 'NR==4{print NR ":" $0}' awktest02.txt 
4:aa
[root@localhost awk_test]# awk -F: 'NR==4 || NR==6{print NR ":" $0}' awktest02.txt 
4:aa
6:a b c d e f gg    ab
2.2.14 NR不显示第4行

'NR!=4{print NR ":" $0}'

//不显示第4行
[root@localhost awk_test]# awk -F: 'NR!=4{print NR ":" $0}' awktest02.txt 
1:aa bb cc
2:aa bb cc dd ee
3:aa bb
5:aaa bbb ccf
6:a b c d e f gg    ab
2.2.15 $n> 第一列的值大于4的行

'$1>4{print}'

//第一列的值大于4的行
[root@localhost awk_test]# cat awktest05.txt 
1 3 5 3 87 
24 2 64 2
3 3 5 
[root@localhost awk_test]# awk -F " " '$1>4{print}' awktest05.txt 
24 2 64 2
[root@localhost awk_test]# awk -F " " '$1>2{print}' awktest05.txt 
24 2 64 2
3 3 5

2.3 -v 赋值一个用户定义变量

-v var=value 赋值一个用户定义变量，将外部变量传递给awk

//借助 -v 选项，可以将来自外部值（非stdin）传递给awk
[root@localhost awk_test]# cat awktest01.sh 
VAR=10000
echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'

[root@localhost awk_test]# sh awktest01.sh 
10000

//定义内部变量接收外部变量
[root@localhost awk_test]# cat awktest04.txt 
var1="aaa"
var2="bbb"
echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2

[root@localhost awk_test]# sh awktest04.txt 
aaa bbb

2.4 awk高级输入输出【next】

awk中next语句使用：在循环逐行匹配，如果遇到next，就会跳过当前行，直接忽略下面语句。而进行下一行匹配

[root@localhost awk_test]# cat awktest02.txt 
aa bb cc
aa bb cc dd ee
aa bb
aa
aaa bbb ccf
a b c d e f gg   

//列个行号 NR
[root@localhost awk_test]# awk -F " " '{print NR}' awktest02.txt 
1
2
3
4
5
6

//让行号和内容一起输出 NR $0
[root@localhost awk_test]# awk -F " " '{print NR $0}' awktest02.txt 
1aa bb cc
2aa bb cc dd ee
3aa bb
4aa
5aaa bbb ccf
6a b c d e f gg    ab

//找出行号为偶数的行
[root@localhost awk_test]# awk -F " " 'NR%2==1{print NR $0}' awktest02.txt 
1aa bb cc
3aa bb
5aaa bbb ccf

//将行号为偶数的行进行“跳过”操作 next
[root@localhost awk_test]# awk -F " " 'NR%2==1{next}{print NR $0}' awktest02.txt 
2aa bb cc dd ee
4aa
6a b c d e f gg    ab

2.5 -f 从脚本文件中读取awk命令

-f scriptfile 从脚本文件中读取awk命令

//不常用，还没整明白

2.6 awk内置变量

参数说明
$0这个变量包含执行过程中当前行的文本内容
$n当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段
ARGC命令行参数的数目
ARGIND命令行中当前文件的位置（从0开始算）
ARGV包含命令行参数的数组
CONVFMT数字转换格式（默认值为%.6g）
ENVIRON环境变量关联数组
ERRNO最后一个系统错误的描述
FIELDWIDTHS字段宽度列表（用空格键分隔）
FILENAME当前输入文件的名
NR表示记录数，在执行过程中对应于当前的行号
FNR同NR
FS字段分隔符（默认是任何空格）
IGNORECASE如果为真，则进行忽略大小写的匹配
NF表示字段数，在执行过程中对应于当前的字段数
OFMT数字的输出格式（默认值是%.6g）
OFS输出字段分隔符（默认值是一个空格）
ORS输出记录分隔符（默认值是一个换行符）
RS记录分隔符（默认是一个换行符）
RSTART由match函数所匹配的字符串的第一个位置
RLENGTH由match函数所匹配的字符串的长度
SUBSEP数组下标分隔符（默认值是34）
小花醒醒
关注
linux shell awk 赋值,Linux shell基础（六）awk命令 ver0.2
weixin_39997695的博客
05-13 1352
一、awk命令awk是一种编程语言，用于在linux/unix下对文本和数据进行处理(gawk - pattern scanning and processing language)。centos7中的awk是gawk的链接。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。前面的grep、sed只是单纯的工具，而awk已经是一门语言了，可见awk的功能将...
文本处理工具——awk
最新发布
yunqi1215的博客
10-23 1130
AWK是一种强大的文本处理工具，常用于数据提取、报表生成等。以下是awk。
Linux 命令详解 之 awk
xiaojun13355的博客
03-23 303
awk 命令是一种编程语言，用于在 linux/unix 下对文本和数据进行处理。 而且它支持用户自定义函数和动态正则表达式等先进功能，是 Linux/Unix 下的一个强大编程工具。 语法格式：awk [参数] [文件] 常用参数： -F 指定输入时用到的字段分隔符 -v 自定义变量 -f 从脚本中读取 awk 命令 -m 对 val 值设置内在限制 参考实例： 1.打印每一行的第二和第三个字段： [root@linuxcool ~]# awk '{ prin...
Linux 三剑客命令之 awk 详解
GG Bond 的博客
02-01 2959
Linux 三剑客命令之 Awk 详解！
linux中的awk使用详解
qq_55656748的博客
09-04 1322
AWK 是一种强大的文本处理工具，诞生于 20 世纪 70 年代的贝尔实验室，由 Alfred Aho、Peter Weinberger 和 Brian Kernighan 三位创始人共同开发，其名称取自三人姓氏的首字母。AWK 专门用于文本扫描、过滤、统计和格式化输出，支持从标准输入、管道或文件中读取数据。在 Linux 系统中，常用的版本是 GAWK（GNU AWK），它是 AWK 的自由软件版本，完全兼容 AWK 和 NAWK。
linux中awk命令(最全面秒懂）
热门推荐
一个懒鬼的博客
12-05 4万+
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符linux中有三剑客之称：三剑客之首就是 AWK三剑客功能:grep ： 过滤文本sed : 修改文本awk : 处理文本$0 : 代表当前行(相当于匹配所有)$n : 代表第n列案例1:(以:为分隔符)案例2:(默认空格为分隔符)
shell中awk多变量赋值
weixin_34148340的博客
12-09 1007
场景描述： shell脚本中有下面三个赋值语句： a=`echo "1.0.0.0 1.0.0.255 海外 海外" | awk '{print $1}'` b=`echo "1.0.0.0 1.0.0.255 海外 海外" | awk '{print $2}'` c=`echo "1.0.0.0 1.0.0.255 海外 海外" | awk '{print...
linux——awk的用法
10-25
### Linux下的AWK使用详解 #### 一、AWK简介及基本用法 ...通过这些基础概念和示例，我们对AWK的使用有了初步了解。掌握AWK可以帮助用户高效地处理大量文本数据，对于数据分析和自动化脚本编写尤为重要。
"Linux/Unix下的强大编程工具——AWK教程文档
AWK是一种强大的编程语言，用于在Linux/Unix系统下对文本和数据进行处理。它可以从标准输入、一个或多个文件，或者其他命令的输出中获取数据，并进行各种操作。AWK支持用户自定义函数和动态正则表达式等先进功能，...
AWK入门到精通系列——awk快速入门
lzbshaaa的博客
02-14 1825
AWK入门到精通系列——awk快速入门
排序之分区排序——awk
qq_43210342的博客
07-26 1044
分区算法
linux 脚本 awk 赋值,awk赋值操作符
weixin_42342626的博客
05-09 586
一旦变量被赋予了一个值，那么就可以用这个变量名来引用这个值。下面的表达式表示将变量x的值和1相加并将结果赋给变量y:y = x + 1即计算x加1的值，并将结果赋给变量y。语句print y打印y的值。如果下面的一系列语句将出现在脚本中:x = 1y = x + 1print y那么y的值为2。我们可以将这3个语句减少为两个:x = 1print x + 1注意， print语句后面的x的值却仍为...
awk赋值给变量
梦见唐朝的故事
09-09 1101
#!/bin/bash open1=`sudo yum list installed | grep jdk | awk 'NR==1{printf $1}'` open2=`sudo yum list installed | grep jdk | awk 'NR==2{printf $1}'` echo "--------------------" echo $open1 echo $open2
Linux下的awk用法详解
jks212454的博客
05-06 776
Linux下的awk用法详解一、awk介绍二、awk的语法三、awk常见用法四、awk其他用法五、awk语言特性 一、awk介绍 1.AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 2.AWK拥有自己的语言： AWK 程序设计语言，它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报
Linux｜Awk 变量、数字表达式和赋值运算符
冷冻工厂
04-25 1104
同样，数字 22 被赋予了变量 port_no，还可以把一个变量的值赋给另一个变量，就像最后一个例子中，将变量 computer_name 的值赋给了变量 server。例如，假设有一个名为 names.txt 的文件，该文件列出了一个应用程序的用户的名单，包括他们的名、姓和性别。要理解在 Awk 中数值表达式的运用，来看下面的例子，这个例子中用到了一个名为 domains.txt 的文件，这个文件列出了 Tecmint 所持有的所有域名。接下来，将探讨 Awk 的最后一个特性——赋值运算符。
Linux awk命令详解
thlzjfefe的博客
05-13 209
除了使用 sed 命令，Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk。它诞生于 20 世纪 70 年代末期，这也许是它影响了众多 Linux 用户的原因之一。曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然，此命令的设计者有 3 位，他们的姓分别是 Aho、Weingberger 和 Kernighan，awk 就取自这 3 为大师姓的首字母。
linux进阶awk操作
love_521_的博客
04-05 1491
awk 中使用$1 2......2......2......n 表示每一个字段 awk ‘{print $1, $2, $3}’ filename awk 可以使用-F 选项改变字段的分隔符 分隔符可以使用正则表达式 awk的表达式 赋值操作符 = 是最常用的赋值操作符 var1 = "name" var2 = "hello" "world" #赋值多个字符串可以用空格链接 ，最后输出的时候会做一个连接 var3 = $1 其他赋值操作符 ++ -- += -= /= %= ^= 算术操作符 + -
awk赋值操作符
xiyangyang052的专栏
06-14 979
一旦变量被赋予了一个值，那么就可以用这个变量名来引用这个值。下面的表达式表示将变量x的值和1相加并将结果赋给变量y: y = x + 1 即计算x加1的值，并将结果赋给变量y。语句 print y 打印y的值。如果下面的一系列语句将出现在脚本中: x = 1 y = x + 1 print y 那么y的值为2。 我们可以将这3个
将awk赋值值给变量
weixin_36667844的博客
01-08 1万+
result='week(now(),-1) 49';   var=`echo $result|awk '{print substr($result,16,3)}'`;   echo $var;      SYSFILE_NAME=`echo "$CONTROL_FILE" | awk -F"." '{print $1}' | awk -F"/" '{print $NF}'`;  
linux awk 函数定义变量赋值,Linux中的Awk定义、用法详解
weixin_42532473的博客
05-04 4673
Awk是什么Awk、sed与grep，俗称Linux下的三剑客，它们之前有很多相似点，但是同样也各有各的特色，相似的地方是它们都可以匹配文本，其中sed和awk还可以用于文本编辑，而grep则不具备这个功用。sed是一种非交互式且面向字符流的编辑器(a “non-interactive” stream-oriented editor)，而awk则是一门模式匹配的编程语言，因为它的主要功能是用于匹配...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值