awk 的使用

最新推荐文章于 2024-08-11 02:59:01 发布
最新推荐文章于 2024-08-11 02:59:01 发布
阅读量381 收藏
点赞数
分类专栏： Linux 文章标签： linux shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feixiang2039/article/details/93381341
版权

AWK是贝尔实验室1977年搞出来的文本出现神器。

awk是一种用于处理文本、模式匹配的编程语言。与sed和grep，俗称Linux下的三剑客。相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。

要学AWK，就得提一提AWK的一本相当经典的书《The AWK Programming Language》，它在豆瓣上的评分是9.4分！

基础用法

格式：awk 执行的事件 文件

root@xiaocan:~# awk '{print $0}' test.txt
My first language:Python
My second language:Shell
My third language:Java
My fourth language:C

其中，print 表示打印，$0 表示一整个记录，test.txt 表示一个文件。所以

awk '{print $0}' test.txt

表示把 test.txt 文件里面的每行记录都打印出来。

# $0 表示整个记录，不过 $1, $2, $3.....则表示整个记录中的第一个字段，第二个字段......。
root@xiaocan:~# awk '{print $1}' test.txt
My
My
My
My
root@xiaocan:~# awk '{print $2}' test.txt
first
second
third
fourth
root@xiaocan:~# awk '{print $3}' test.txt
language:Python
language:Shell
language:Java
language:C

下面我们用 : 来作为我们的分隔符吧。

root@xiaocan:~# awk 'BEGIN{FS=":"} {print $2}' text.txt

上面的命令等价于：

root@xiaocan:~#  awk -F ':' '{print $2}' test.txt
Python
Shell
Java
C

上面我们用参数 -F 指定了分隔符。

可以指定多个分隔符：

awk -F '[;:]'

我们再来看看 awk 的格式化输出，和 C 语言的 printf 没什么两样：

root@xiaocan:~# awk -F: '{printf "%-20s -- %s\n",$1,$2}' awkTest.txt
My first language    -- Python
My second language   -- Shell
My third language    -- Java
My fourth language   -- C

条件限制

# 打印第二个字段为"Java"的文本
root@xiaocan:~# awk -F ':' '$2 == "Java" {print $2}' test.txt
Java

#打印奇数行的的第二个字段：
root@xiaocan:~# awk -F ':' 'NR % 2 == 1 {print $2}' test.txt
Python
Java
#或者
root@xiaocan:~# awk -F ':' 'NR % 2 == 1' test.txt
My first language:Java
My third language:python

其中，NR 是一个内置的变量，表示当前正在处理的记录，即当前的记录是第几个记录。

其中的“==”为比较运算符。其他比较运算符：!=, >, <, >=, <=

字符串匹配

# 匹配第三列有 Java 的行
root@xiaocan:~# awk '$3 ~ /Java/' test.txt
My first language:Java

~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。

其实 awk 可以像 grep 一样的去匹配第一行，就像这样：

root@xiaocan:~# awk '/Java/' test.txt
My first language:Java

root@xiaocan:~# awk '/Java|Python/' test.txt
My first language:Python
My third language:Java

模式取反：

root@xiaocan:~# awk '!/Java/' test.txt
My first language:Python
My second language:Shell
My fourth language:C

更多正则表达式匹配，参看这篇文章。

拆分文件

awk拆分文件很简单，使用重定向符号 > 就好了。下面这个例子，是按第 2 列分隔文件，相当的简单。

$ awk '{print > $2}' test.txt
 
$ ls
C Java Python Shell

条件语句

和我们平常的编程一样，awk 也提供了 if, else, while 等这些条件语句。

例如，打印第二个及其之后的记录：

root@xiaocan:~# awk '{if(NR > 1) print $2}' test.txt
second
third
fourth
# 或者
root@xiaocan:~# awk 'NR > 1 {print $2}' test.txt

注意，上面的字段分隔符是空格了，并且 if 语句是在“{}” 里指定的。

root@xiaocan:~# awk '{if($1 < "s") print $1; else print $2}' test.txt
# 如果第一个字段小于“s",则打印第一个字段，否则打印第二个字段
My
My
My
My

函数

awk 提供了一些内置函数来供我们使用，一下常用的函数如下：

tolower()：字符转为小写。
toupper()：字符转为大写
length()：返回字符串长度。
substr()：返回子字符串。
sqrt()：平方根。
rand()：随机数

root@xiaocan:~# awk '{print toupper($1)}' test.txt
MY
MY
MY
MY
root@xiaocan:~# awk '{print tolower($1)}' test.txt
my
my
my
my
root@xiaocan:~# awk -F ':' '{print toupper($2)}' test.txt
PYTHON
SHELL
JAVA
C
root@xiaocan:~# awk -F ':' '{print tolower($2)}' test.txt
python
shell
java
c

变量

常用的内置变量如下：

$0当前记录（这个变量中存放着整个行的内容）

$1~$n 当前记录的第n个字段，字段间由FS分隔

NR：表示当前处理的是第几行

NF：表示当前行有多少个字段

FNR 当前文件的行数

FILENAME：当前文件名

FS：字段分隔符，默认是空格和制表符。

RS：行分隔符，用于分割每一行，默认是换行符。

OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。

ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。

OFMT：数字输出的格式，默认为％.6g。

例如我们要打印每一个记录的最后一个字段，就可以使用变量 NF 了。

root@xiaocan:~# awk '{print $NF}' test.txt
language:Python
language:Shell
language:Java
language:C

# 倒数第二个字段
root@xiaocan:~# awk '{print $(NF-1)}' test.txt
first
second
third
fourth

对了，刚才那个 NR 的变量也是挺好用的，例如：

root@xiaocan:~# awk '{print NR ". "  $0}' test.txt
1. My first language:Python
2. My second language:Shell
3. My third language:Java
4. My fourth language:C

awk 脚本

awk 的语法如下：

  • BEGIN{ 这里面放的是执行前的语句 }
  • END {这里面放的是处理完所有的行后要执行的语句 }
  • {这里面放的是处理每一行时要执行的语句}

为了说清楚这个事，我们来看看下面的示例：

假设有这么一个文件（学生成绩表）：

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

我们的 awk 脚本如下：

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

我们来看一下执行结果：（也可以这样运行 ./cal.awk score.txt）

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

统计

统计某个文件夹下的文件占用的字节数

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  8657198

如果以M为单位显示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.25889 M

注意，统计不包括文件夹的子目录。

环境变量

即然说到了脚本，我们来看看怎么和环境变量交互：（使用-v参数和ENVIRON，使用ENVIRON的环境变量需要export）

$ x=5
 
$ y=10
$ export y
 
$ echo $x $y
5 10
 
$ awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt
Marry   2143    78      89      87
Jack    2321    66      83      55
Tom     2122    48      82      81
Mike    2537    87      102     105
Bob     2415    40      62      72

最后，我们再来看几个小例子：

#从file文件中找出长度大于80的行
awk 'length>80' file

#打印99乘法表
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

关于其中的一些知识点可以参看gawk的手册：

参考

  1. AWK 简明教程：https://coolshell.cn/articles/9070.html
  2. https://www.ibm.com/support/knowledgecenter/zh/ssw_aix_72/com.ibm.aix.cmds1/awk.htm
  3. http://man.linuxde.net/awk
feixiang2039
关注
专栏目录
awk使用方法详解
empty_csx的博客
03-17 3309
awk工具 awk 选项 ‘模式或条件{编辑命令}’ 文件1 文件2…. //过滤并输出文件中符合条件的内容 awk -f 脚本文件 文件1 文件2… //从脚本中调用的编辑指令，过滤并输出内容 awk包含几个特殊的内建变量（可直接用）如下所示： FS：指定每行文本的字段分隔符，默认为空格或制表位； NF：当前处理的行的字段个数； NR：当前处理的行的行号（序数）； $0：当前处理的行的整行内容； $n：当前处理的行的第n个字段（第n列）； FILENAME：被处理的文件名； RS：数据记录分隔，默认为\n
awk的使用
xiaoliu的博客
07-05 2612
linux里面的awk命令
awk详解
最新发布
xw2441176267的博客
08-11 3343
​ AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作。数据可以来自标准输入也可以是管道或文件。​ 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
Linux awk用法
weixin_34235457的博客
04-09 142
在学习awk之前我们应该都学过sed,grep,tr,cut等等命令，这些命令都是为了方便我们对Linux下文本和数据的处理，但是我们会发现很多时候这些命令并不能一下子就完全解决我们的需求，很多时候我们都需要使用管道符结合这些命令来使用，今天我就给大家介绍一个命令awk，他就能很好的解决我们对文本和数据处理的需求，使我们一条命令就解决很多问题。 一、awk命令简介 awk被称为文本处理三剑客之一，...
Linux之强大的awk
我是海马
05-02 7276
来自【梦想家 Haima’s blog】awk简介awk是Linux中的一个命令，用来做文本处理与分析，功能简单强悍，同时它也是一门编程语言。 awk处理文本文件时，以行为单位，可以高效的对日志文件进行处理。awk的man文档简介摘要：NAME gawk - pattern scanning and processing language //awk其实是gawk，文本匹配查询和 处理语言，
awk使用基本理论
11-20
### awk使用基本理论 #### 一、awk简介与版本 - **awk** 是 Linux Shell 三剑客之一，主要用于文本处理。它是一种强大的文本分析工具，可以在数据流中搜索匹配的模式并执行相应的操作。 - **awk** 有三个主要版本...
awk使用大全.doc
02-21
`awk` 是一种强大的文本分析工具，广泛应用于Linux和Unix系统中。它能高效地处理文本文件，通过匹配特定模式并执行相应操作，实现数据筛选、转换和报告等功能。`awk` 的主要特点在于其内置的编程语言特性，包括模式...
awk使用手册awk使用手册
01-19
### awk 使用手册详解 #### 一、awk简介与基本概念 awk 是一款强大的文本处理工具，在 Unix 和类 Unix 操作系统中广泛使用。它最初由 Alfred Aho、Peter Weinberger 和 Brian Kernighan 开发，因此得名 awk（取自...
Linux AWK使用描述
03-02
Linux AWK 使用描述 AWK 是一种强大的行处理器，在 Linux 中广泛应用于文本处理。AWK 的主要优点是可以处理庞大文件而不出现内存溢出或处理缓慢的问题。 AWK处理过程： AWK 命令的基本形式为：awk [-F|-f|-v] ...
awk使用
东贝鸟的博客
02-04 221
awk用法 文本处理的命令；便于截取内容；支持小数运算 工作原理（与sed区分） sed一样，均是一行行的读取、处理； sed是一整行处理，awk是将一行拆分成字段进行处理 完整语法 awk 'BEGIN{commands}pattern{commands}END{commands}'file BEGIN 执行数据前的命令 pattern 每行都会执行的命令 END 执行数据后的命令 例:以:为分隔符，查找passwd文件中以bash结尾，打出第一个字段和第七个字段 [root@localhost 1-28
AWK 使用详解
lantian000的博客
06-06 3629
awk的工作原理 一次读取一行文本，按输入分隔符进行切片，切成多个组成部分，将每片直接保存在内建的变量中，$1,$2,$3....，引用指定的变量，可以显示指定断，或者多个断。如果需要显示全部的，需要使用$0来引用。可以对单个片断进行判断，也可以对所有断进行循环判断。其默认分隔符为空格 awk的基本用法格式 awk [options] 'program' FILE...... 语句之间用分号分隔 [options] -F : 指明输入时用到的字段分隔符 -v var=VALU
AWK命令介绍
11-29 1100
awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息 1.   调用awk: 第一种命令行方式，如: awk [-Field-separator] 'commands' input-file(s) 这里commands是真正的awk命令，[-F域分隔符]是可选的，awk默认使用空格
awk命令的使用
modi000的博客
07-11 623
awk命令是用来处理文件内容中的列数据，与sed处理行数据刚好对应；所以二者经常同时使用。 awk是3个创始人名字首字母的。 awk默认是以空格或Tab分隔。 当不是以二者分隔的话，需指定参数 ，比如以冒号分隔 awk -F: '{print $7}' /etc/passwd awk语法结构： awk 参数 ‘脚本语句’ 待操作语句 awk 参数 -f '脚本文件' 待操作文件 ...
awk用法
yangye2424637628的博客
07-29 1003
&“表示"与”、“||表示"或”、"!还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出。其他内置变量的用法FS（输入）、OFS、NR、FNR、RS、ORS。AWK 工作通过三个步骤。
【shell】awk基本用法
sodaloveer的博客
05-06 2769
awk基本用法及举例
awk的常见用法
ynyysn的博客
02-14 8443
awk 概述:AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据 可以来自标准输入也可以是管道或文件。 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk，之所以叫 AwK是因为其取了三位创 始人Alfred Aho，Peter Weinberger，和 Brian Kernighan 的 Family Mame的首字符。 工作原理: 当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二
awk使用实例
chenqj的专栏
10-08 1633
 简介awk是一种编程语言，非常适合处理文本，使用简单，功能却很强大。awk扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行示例基本使用输出文件的第一列awk {print $1} access_log使用自定义的分隔符（默认是空格）awk -F , {print $1} access_loga
awk操作
你若盛开，清风自来
11-26 1009
awk命令的使用指南
Unix AWK使用指南：深入解析与实战教程
《Shell AWK使用手册》是一本详细指南，专为学习和理解AWK编程语言而编撰。AWK是一种强大的文本处理工具，常用于数据处理、报表生成和脚本编写，特别是在Unix或类Unix系统中。本书分为多个章节，深入介绍了AWK的调用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值