最全awk正则处理详解 你想要的awk处理方法都在里面

最新推荐文章于 2024-09-09 21:30:56 发布
最新推荐文章于 2024-09-09 21:30:56 发布
阅读量6.9k 收藏 4
点赞数
分类专栏： 正则表达式 文章标签： awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52319563/article/details/112565545
版权

Linux awk 命令
Linux 命令大全 Linux 命令大全

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

语法
awk [选项参数] ‘script’ var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)
选项参数说明：

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替和=；fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。
-W version or --version
打印bug报告信息的版本。
基本用法
log.txt文本内容如下：

2 this is a test
3 Are you like awk
This’s a test
10 There are orange,apple,mongo
用法一：

awk ‘{[pattern] action}’ {filenames} # 行匹配语句 awk ‘’ 只能用单引号
实例：

每行按空格或TAB分割，输出文本中的1、4项

$ awk ‘{print $1,$4}’ log.txt

2 a
3 like
This’s
10 orange,apple,mongo

格式化输出

$ awk ‘{printf “%-8s %-10s\n”,$1,$4}’ log.txt

2 a
3 like
This’s
10 orange,apple,mongo

用法二：

awk -F #-F相当于内置变量FS, 指定分割字符
实例：

使用","分割

$ awk -F, ‘{print $1,$2}’ log.txt

2 this is a test
3 Are you like awk
This’s a test
10 There are orange apple

或者使用内建变量

$ awk ‘BEGIN{FS=","} {print $1,$2}’ log.txt

2 this is a test
3 Are you like awk
This’s a test
10 There are orange apple

使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割

$ awk -F ‘[ ,]’ ‘{print $1,$2,$5}’ log.txt

2 this test
3 Are awk
This’s a
10 There apple
用法三：

awk -v # 设置变量
实例：

$ awk -va=1 ‘{print $1,$1+a}’ log.txt

2 3
3 4
This’s 1
10 11
$ awk -va=1 -vb=s ‘{print $1,$1+a,$1b}’ log.txt

2 3 2s
3 4 3s
This’s 1 This’ss
10 11 10s
用法四：

awk -f {awk脚本} {文件名}
实例：

$ awk -f cal.awk log.txt
运算符
运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻辑或
&& 逻辑与
~ 和 !~ 匹配正则表达式和不匹配正则表达式
< <= > >= != == 关系运算符
空格 连接

    • 加，减
  • / % 乘，除与求余
    • ! 一元加，减和逻辑非
      ^ *** 求幂
      ++ – 增加或减少，作为前缀或后缀
      $ 字段引用
      in 数组成员
      过滤第一列大于2的行

$ awk ‘$1>2’ log.txt #命令
#输出
3 Are you like awk
This’s a test
10 There are orange,apple,mongo
过滤第一列等于2的行

$ awk ‘$1==2 {print $1,$3}’ log.txt #命令
#输出
2 is
过滤第一列大于2并且第二列等于’Are’的行

$ awk ‘$1>2 && $2==“Are” {print $1,$2,$3}’ log.txt #命令
#输出
3 Are you
内建变量
变量 描述
$n 当前记录的第n个字段，字段间由FS分隔
$0 完整的输入记录
ARGC 命令行参数的数目
ARGIND 命令行中当前文件的位置(从0开始算)
ARGV 包含命令行参数的数组
CONVFMT 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO 最后一个系统错误的描述
FIELDWIDTHS 字段宽度列表(用空格键分隔)
FILENAME 当前文件名
FNR 各文件分别计数的行号
FS 字段分隔符(默认是任何空格)
IGNORECASE 如果为真，则进行忽略大小写的匹配
NF 一条记录的字段的数目
NR 已经读出的记录数，就是行号，从1开始
OFMT 数字的输出格式(默认值是%.6g)
OFS 输出记录分隔符（输出换行符），输出时用指定的符号代替换行符
ORS 输出记录分隔符(默认值是一个换行符)
RLENGTH 由match函数所匹配的字符串的长度
RS 记录分隔符(默认是一个换行符)
RSTART 由match函数所匹配的字符串的第一个位置
SUBSEP 数组下标分隔符(默认值是/034)
$ awk ‘BEGIN{printf “%4s %4s %4s %4s %4s %4s %4s %4s %4s\n”,“FILENAME”,“ARGC”,“FNR”,“FS”,“NF”,“NR”,“OFS”,“ORS”,“RS”;printf “---------------------------------------------\n”} {printf “%4s %4s %4s %4s %4s %4s %4s %4s %4s\n”,FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}’ log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS

log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F’ ‘BEGIN{printf “%4s %4s %4s %4s %4s %4s %4s %4s %4s\n”,“FILENAME”,“ARGC”,“FNR”,“FS”,“NF”,“NR”,“OFS”,“ORS”,“RS”;printf “---------------------------------------------\n”} {printf “%4s %4s %4s %4s %4s %4s %4s %4s %4s\n”,FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}’ log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS

log.txt 2 1 ’ 1 1
log.txt 2 2 ’ 1 2
log.txt 2 3 ’ 2 3
log.txt 2 4 ’ 1 4

输出顺序号 NR, 匹配文本行号

$ awk ‘{print NR,FNR,$1,$2,$3}’ log.txt

1 1 2 this is
2 2 3 Are you
3 3 This’s a test
4 4 10 There are

指定输出分割符

$ awk ‘{print $1,$2,$5}’ OFS=" $ " log.txt

2 $ this $ test
3 $ Are $ awk
This’s $ a $
10 $ There $
使用正则，字符串匹配

输出第二列包含 “th”，并打印第二列与第四列

$ awk ‘$2 ~ /th/ {print $2,$4}’ log.txt

this a
表示模式开始。// 中是模式。

输出包含 “re” 的行

$ awk '/re/ ’ log.txt

3 Are you like awk
10 There are orange,apple,mongo
忽略大小写
$ awk ‘BEGIN{IGNORECASE=1} /this/’ log.txt

2 this is a test
This’s a test
模式取反
$ awk ‘$2 !~ /th/ {print $2,$4}’ log.txt

Are like
a
There orange,apple,mongo
$ awk ‘!/th/ {print $2,$4}’ log.txt

Are like
a
There orange,apple,mongo
awk脚本
关于 awk 脚本，我们需要注意两个关键词 BEGIN 和 END。

BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句}
假设有这么一个文件（学生成绩表）：

$ cat score.txt
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
我们的 awk 脚本如下：

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0

printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
printf "---------------------------------------------\n"

}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf “%-6s %-6s %4d %8d %8d %8d\n”, $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf “---------------------------------------------\n”
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf “AVERAGE:%10.2f %8.2f %8.2f\n”, math/NR, english/NR, computer/NR
}
我们来看一下执行结果：

$ awk -f cal.awk score.txt
NAME NO. MATH ENGLISH COMPUTER TOTAL

Marry 2143 78 84 77 239
Jack 2321 66 78 45 189
Tom 2122 48 77 71 196
Mike 2537 87 97 95 279
Bob 2415 40 57 62 159

TOTAL: 319 393 350
AVERAGE: 63.80 78.60 70.00
另外一些实例
AWK 的 hello world 程序为：

BEGIN { print “Hello, world!” }
计算文件大小

$ ls -l *.txt | awk ‘{sum+=$5} END {print sum}’

666581
从文件中找出长度大于 80 的行：

awk ‘length>80’ log.txt
打印九九乘法表

seq 9 | sed ‘H;g’ | awk -v RS=’’ ‘{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}’

北三巷
关注
专栏目录
awk 内嵌正则 提取字符串_awk正则表达式及内置函数实例详解
weixin_29711757的博客
01-14 3033
本文信息本文由方法SEO顾问发表于2014-07-1211:04:18，共 2640 字，转载请注明：awk正则表达式及内置函数实例详解_【方法SEO顾问】，如果我网站的文章对你有所帮助的话，来百度口碑给个好评呗！1、模糊匹配：awk '{if($3~/97/) print $0}' data.f：如果第三项中含有”97”则打印该行awk '{if($4!~/ufcx/) print $0}' d...
awk 内嵌正则 提取字符串_awk正则表达式和内置函数的使用方法实例详解
weixin_36124888的博客
12-24 1122
awk正则表达式及内置函数实例详解：1、模糊匹配：awk ‘{if($3~/97/) print $0}' data.f：如果第三项中含有”97”则打印该行awk ‘{if($4!~/ufcx/) print $0}' data.f：如果第三项中不含ufcx有则打印2、精确匹配：awk ‘{if($5==66) print $0}' data.f：如果第五项是66则打印awk ‘{if($5!=6...
awk 正则表达式、正则运算符详细介绍
weixin_30663391的博客
10-11 610
前言：使用awk作为文本处理工具，正则表达式是少不了的。 要掌握这个工具的正则表达式使用。其实，我们不必单独去学习它的正则表达式。正则表达式就像一门程序语言，有自己语法规则已经表示意思。 对于不同工具，其实大部分表示意思相同的。在linux众多文本处理工具（awk,sed,grep,perl)里面用到正则表达式。其实就只有3种类型。详细可以参考：linux shell 正则表达式(BREs,ERE...
正则表达式之awk
最新发布
lihui12356的博客
09-09 1028
在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。以空格做为分隔符，多个空格他会自动压缩成一个AWK信息的读入也是逐行指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理.1、按照命令找指定的行 2、找到的行 打印，操作 awk默认的操作就是打印可以在无交互 的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。a[1]=20;a[2]=30;
awk 中 正则表达式使用
热门推荐
大牛牛
11-07 3万+
wk的命令格式 首先需要明确awk的命令格式，这样才能知道正则表达式应该放在哪里。 三种格式分别是： # awk 'pattern' filename # awk '{action}' filename # awk 'pattern {action}' filename 正则表达式放在哪？ 根据上面的命令格式可知，正则表达式应该放在‘patten’这个位置。 awk如何处理正则表达式 ...
正则表达式 —— Awk
五彩斑斓的黑@的博客
08-14 2115
awk -F：'$3>10{print}' /etc/passwd | head -n 15 把passwd第三列大于10的全打印出来。awk -F：'{if ($3=10) {print}}' /etc/passwd 打印第三列等于10的内容。awk的格式：awk 选项 '模式或条件{操作}' 文件 在awk中操作默认就是打印。例：awk -F：'$7~"bash" {print $1,$NF}' /etc/passwd。
awk 使用正则表达式
说文科技，做有态度的研究。
12-21 5306
awk 使用正则表达式 1. 正则表达式 2. awk命令 3. 在awk中使用正则表达式 3.1 实战案例1 [root@server4 temp]# echo "Abaidu.comB" | awk '/^A.*?B/'{print} Abaidu.comB 这里解释一下这个正则表达式。 ^A.*?B 指的是：以A 字符开头； .* 指的是任意字符可以出现任意次；? 表示之前的字符串必须匹配...
awk正则表达式和内置函数的使用方法实例详解
01-20
awk正则表达式及内置函数实例详解： 1、模糊匹配： 代码如下: awk ‘{if($3~/97/) print $0}’ data.f：如果第三项中含有”97”则打印该行 awk ‘{if($4!~/ufcx/) print $0}’ data.f：如果第三项中不含ufcx有则...
linux正则表达式awk详解
10-23
在Linux系统中，正则表达式和awk工具是文本处理的强大武器，正则表达式提供了一种灵活的搜索和匹配模式，而awk则是一个强大的文本分析工具，它可以对文本文件进行模式扫描和处理。本文将深入探讨awk在Linux环境中的...
awk 正则使用
nbnbnb_的博客
01-08 209
awk条件 1,使用正则作为条件 ~包含 !~不包含 awk -F: ‘$1~/root/{print}’ user 输出第1列包含root的行 awk -F: ‘$1!~/root/{print}’ user 输出第1列不包含root的行 awk -F: ‘$1!~/root/’ user 省略写法,效果同上 2,使用数字,字符串做条件 比较符号：==(等于) !=（不等于） &...
正则表达式三剑客之——awk命令
shengjie87的博客
07-29 1963
awk命令什么是awk工作原理语法格式内建变量配置实例 什么是awk awk本身是一种编程语言，主要用于unix/linux里对文本进行处理，也是一个工具。awk处理数据也是逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，在这些行上进行你所要的操作，如果没有处理动作，它也会显示到标准输出（屏幕）如果没有指定模式，那么对所有的行进行处理。我们现在所用的awk其实是gawk [root@server ~]# which awk /usr/bin/awk [root@server ~]# ll /usr/
awk正则匹配
langlang2671的专栏
11-12 1万+
扩展的正则表达式（Extended Regular Expression 又叫 ExtendedRegEx 简称 EREs）。  一、awk Extended Regular Expression (ERES)基础表达式符号介绍 +指定如果一个或多个字符或扩展正则表达式的具体值（在 +（加号）前）在这个字符串中，则字符串匹配。命令行： awk '/smith+ern/'testfile 将
Python笔记-字符串
qq_44782285的博客
01-11 270
print('hello world'.capitalize()) #让第一个单词首字母大写 print('hello world'.upper()) #全大写 print('hello world'.lower()) #全小写 print('hello world'.title()) #每个单词的首字母大写 #ljust,rjust ljust(width,fillchar) 长度和填充的字符，默认是空格 print('hello'.ljust(10)
awk 使用正则表达式_如何在awk中使用正则表达式
cuml0912的博客
07-12 5898
awk 使用正则表达式 在awk中，正则表达式（regex）允许动态和复杂的模式定义。 您不仅限于搜索简单的字符串，而且还搜索模式中的模式。 使用正则表达式匹配awk中的行的语法为： word ~ / match / 相反的是不匹配模式： word ! ~ / match / 如果您还没有的话，请根据我们上一篇文章创建示例文件： name color amou...
正则awk
aaahai的博客
08-18 522
awk -F 指定分割符 awk -F ': ' '{print $1}' 1.txt 以冒号为分隔符 打印第一段 print为打印的意思。 $1表示打印第1字段 $0表示整行 截取多个字段 中间以逗号来分隔 不加-F选项，默认使用空格或者tab为分隔符，   awk -F ':' '{print $1"#"$3"#"$5}' 1.txt 以井号为分隔符 打印 1 ，3, 5 段 ...
正则表达式之awk工具用法
weixin_45409403的博客
10-14 501
awk 工具 在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。 （1）awk 常见用法 通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理...
正则表达式（二）awk
万博的博客
08-20 629
正则表达式（三）awk awk工具的使用 上面也提到了awk和sed一样是流式编辑器，它也是针对文档中的行来操作的，一行一行的去执行。awk比sed更加强大，它能做到sed能做到的，同样也能做到sed不能做到的。awk工具其实是很复杂的，有专门的书籍来介绍它的应用，但是阿铭认为学那么复杂没有必要，只要能处理日常管理工作中的问题即可。何必让自己的脑袋装那么东西来为难自己？毕竟用的也不多，即使现在...
Awk学习笔记
xnix相关的收藏
08-25 641
Awk学习笔记整理：Jims of 肥肥世家Copyright © 2004 本文遵从GPL协议，欢迎转载、修改、散布。第一次发布时间:2004年8月6日Table of Contents1. awk简介2. awk命令格式和选项    2.1. awk的语法有两种形式    2.2. 命令选项3. 模式和操作    3.1. 模式    3.2. 操作4. awk的环境变量5. awk运算符6.
linux awk命令详解
李晓蒙的博客
10-23 518
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfr
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值