一篇完整教会shell三剑客----awk

1. 什么是awk

awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具。简单地讲,awk是一种处理文本数据的编程语言。awk的设计使得它非常适合于处理由行和列组成的文本数据。而在Linux或者UNIX环境中,这种类型的数据是非常普遍的。除此之外,awk 还是一种编程语言环境,它提供了正则表达式的匹配,流程控制,运算符,表达式,变量以及函数等一系列的程序设计语言所具备的特性。它从C语言中获取了一些优秀的思想。awk程序可以读取文本文件,对数据进行排序,对其中的数值执行计算以及生成报表等。

2. awk的工作流程

awk命令的基本语法如下:
awk 'pattern { actions }'
在上面的语法中,pattern表示匹配模式,actions表示要执行的操作。
以上语法表示,当某个文本行符合pattern指定的匹配规则时,执行actions所执行的操作。
在上面的语法中,pattern和actions都是可选的,但是两者必须保证至少有一个。如果省略匹配模式pattern,则表示对所有的文本行执行actions所表示的操作;如果省略actions,则表示将匹配成功的行输出到屏幕。

awk的工作流程非常重要。只有在掌握了awk的工作流程之后,才有可能用好awk来处理数据。
在awk处理数据时,它会反复执行以下4个步骤:
(1)自动从指定的数据文件中读取行文本。
(2)自动更新awk的内置系统变量的值,例如列数变量NF、行数变量NR、行变量$0以及各个列变量$1、$2等等。
(3)依次执行程序中所有的匹配模式及其操作。
(4)当执行完程序中所有的匹配模式及其操作之后,如果数据文件中仍然还有未读取的数据行,则返回到第(1)步,重复执行(1)~(4)的操作。

3.awk程序的执行方式

1.通过命令行执行awk程序,语法如下:
awk 'program-text' datafile
2.执行awk脚本在awk程序语句比较多的情况下,用户可以将所有的语句写在一个脚本文件``中,然后通过awk命令来解释并执行其中的语句。awk调用脚本的语法如下:
awk -f program-file file ..
在上面的语法中,-f选项表示从脚本文件中读取awk程序语句,program-file表示awk脚本文件名称,file表示要处理的数据文件。
3.可执行脚本文件
在上面介绍的两种方式中,用户都需要输入awk命令才能执行程序。
除此之外,用户还可以通过类似于Shell脚本的方式来执行awk程序。在这种方式中,需要在awk程序中指定命令解释器,并且赋予脚本文件的可执行权限。
其中指定命令解释器的语法如下:
#!/bin/awk -f
以上语句必须位于脚本文件的第一行。
然后用户就可以通过以下命令执行awk程序:awk-script file其中,awk-script为awk脚本文件名称,file为要处理的文本数据文件。

4. 基本语法

awk [options] 'script' file1 file2, ...
awk [options] 'PATTERN { action }' file1 file2, ...

4.1 awk的输出

(1)print的使用格式: print item1,item2,...
(2)printf命令的使用格式: 虽然大多数情况下awk的print语句可以完成任务,但有时我们还需要对格式做更多的控制。awk提供了printf函数来实现字符串的格式化。这个函数的功能和语法与C语言中的printf()函数基本相同,如下:printf(format, [arguments])
(3)输出重定向
print items > output-file
print items >> output-file
print items | command

练习:awk打印一个内容和打印多个内容,
格式化输出:显示Hello World字符串且宽度为50,向左对齐

[root@localhost day8]# cat hello.txt 
Hello World!
[root@localhost day8]# awk '{printf "%-50s",$0}' hello.txt
Hello World!                                      [root@localhost day8]# 
[root@localhost day8]#

4.2 awk的变量

变量的作用是用来存储数据。变量由变量名和值两部分组成,其中变量名是用来实现变量值的引用的途径,而变量值则是内存空间中存储的用户数据。
awk的变量名只能包括字母、数字和下划线,并且不能以数字开头。例如abc、a、z以及a123都是合法的变量名,而123abc则是非法的变量名。另外,awk的变量名是区分大小写的,因此,X和x分别表示不同的变量。
在awk中定义变量的方法非常简单,只要给出一个变量名并且赋予适当的值即可。awk中的变量类型分为两种,分别为字符串和数值。但是在定义awk变量时,毋需指定变量类型,awk会根据变量所处的环境自动判断。如果没有指定值,数值类型的变量的缺省值为0,字符串类型的变量的缺省值为空串。awk提供了许多非常实用的系统变量,例如字段变量、字段数变量以及记录数变量等。
(1)awk内置变量

变量说明
$0记录变量,表示当前正在处理的记录
$n字段变量,其中n为整数,且n大于1。表示第n个字段的值
NF整数值,表示当前记录(变量$0所代表的记录)的字段数
NR整数值,表示awk已经读入的记录数;如果有多个文件,这个数目会把处理的多个文件中行统一计数。(显示的是文件的每一行的行号)
FNR与NR不同的是,FNR用于记录正处理的行是当前这一文件中被总共处理的行数;
FILENAME表示正在处理的数据文件的名称
FS输入字段分隔符,默认值是空格或者制表符,可使用-F指定分隔符
OFS输出字段分隔符 ,OFS=”#”指定输出分割符为#。
RS记录分隔符,默认值是换行符 \n
ENVIRON当前shell环境变量及其值的关联数组;

示例:

[root@localhost day8]# echo 'hello china' > hello.txt 
[root@localhost day8]# cat hello.txt 
hello china
[root@localhost day8]# awk 'BEGIN {OFS="#"} {print $1,$2,"hello","world"}' hello.txt 
hello#china#hello#world
[root@localhost day8]#

(2) 用户自定义变量 awk允许用户自定义自己的变量以便在程序代码中使用,变量名命名规则与大多数编程语言相同,只能使用字母、数字和下划线,且不能以数字开头。awk变量名称区分字符大小写。
1、在awk中给变量赋值使用赋值语句进行
示例:

[root@localhost day8]# awk 'BEGIN{hello="world";print hello}'
world

2、在命令行中使用赋值变量 awk命令也可以在“脚本”外为变量赋值,并在脚本中进行引用。例如,上述的例子还可以改写为:

[root@localhost day8]# awk -v hello="world" 'BEGIN {print hello}'
world

5.awk操作符

awk是一种编程语言环境,因此,它也支持常用的运算符以及表达式,例如算术运算、逻辑运算以及关系运算等。
(1)awk支持常用的算术运算,这一点与其他的程序设计语言基本相同。

运算符说明举例
+加法运算1+2表示计算1和2的和
-减法运算82-2表示计算82和2的差
*乘法运算2*5表示计算2和5的积
/除法运算6/3表示计算6和2的商
%求模运算5/2表示计算5除以2的余数
^指数运算2^3表示计算2的3次方

示例:awk执行数学计算: 10/2*3+5%2+2^3

[root@localhost day8]# awk 'BEGIN{print 10/2*3+5%2+2^3}'
24

(2)赋值运算符

运算符说明举例
=赋值运算x=5表示将数值5赋给变量x
+=复合赋值运算,表示将前后两个数值相加后的和赋给前面的变量x+=5表示先将x的值与5相加,然后再将和赋给变量x,等价于x=x+5
-=复合赋值运算,表示将前后两个数值相减后的值赋给前面的变量x-=5表示先将x的值减去5,然后再将得到的差赋给变量x,等价于x=x-5
*=复合赋值运算,表示前后两个数的乘积赋给前面的变量表示先将x的值乘以5,然后再将得到的乘积赋给变量x
/=复合赋值运算,表示前后两个数值的商赋给前面的变量表示先将变量x除以5,再将商赋给变量x
%=复合赋值运算,表示将前面的数值除以后面的数值所得的余数赋给前面的变量将变量x与5相除后的余数赋给变量x
^=复合运算符,表示将前面的数值的后面数值次方赋给前面的变量x^=3表示将变量x的3次方赋给变量x

(3)条件运算符
awk中的条件运算符只有一个,其语法如下:
expression?value1:value2
这是一个三目运算符,当表达式expression的值为真时,返回值为value1;否则,返回值为value2。

(4)逻辑运算符
awk支持3种逻辑运算,分别为逻辑与、逻辑或和逻辑非

运算符说明举例
&&逻辑与,当前后两个表达式的值全部为真时,其运算结果才为真1>2&&3>2的值为假
//逻辑或,前后两个表达式只要有一个为真,则其运算结果为真。当两个表达式的值都为假时,其运算结果才为假1>2&&3>2的值为真
逻辑非,当表达式的值为真时,其运算结果为假;当表达式的值为假时,其运算结果为真!(1>2)的值为真

(5)关系运算符

运算符说明举例
>大于5>2的值为真
>=大于或者等于8>=8的值为真
<小于8<12的值为真
<=小于或者等于4<=7的值为真
==等于9==9的值为真
!=不等于1!=3的值为真
~匹配运算符$1 ~ /^T/表示匹配第一个字段以字符T开头的记录
!~不匹配运算符$1 !~ /a/表示匹配第一个字段不含有字符a的记录

(6)其他运算符awk还支持其他的一些运算符,例如正号+、负号-、自增++以及自减–等,这些运算符的使用方法与其他的语言的使用方法完全相同。

示例:

[root@localhost day8]# cat hello.txt 
hello china
chongqing
chengdu
yunnan
shanxi
  1. awk处理文本:要求文本有5行内容,且当行数为奇数的时候打印第一个字段
[root@localhost day8]# awk '{ if (NR%2==1 && "END {print NR}==5") print $1}' hello.txt 
hello
chengdu
shanxi
[root@localhost day8]#
  1. awk处理文本: 要求文本有5行内容, 当行数不为3时打印第一个字段
[root@localhost day8]# awk '{ if (NR!=3 && "END {print NR}==5") print $1}' hello.txt
hello
chongqing
yunnan
shanxi
[root@localhost day8]#

6.awk的模式

awk的基本语法:
awk [options] 'PATTERN { action }' file1 file2, ...

在awk中,匹配模式处于非常重要的地位,它决定着匹配模式后面的操作会影响到哪些文本行。awk中的匹配模式主要包括关系表达式、正则表达式、混合模式,BEGIN模式以及END模式等。
(1)关系表达式awk提供了许多关系运算符,例如大于>、小于<或者等于==等。awk允许用户使用关系表达式作为匹配模式,当某个文本行满足关系表达式时,将会执行相应的操作。
(2)正则表达式awk支持以正则表达式作为匹配模式,与sed一样,用户需要将正则表达式放在两条斜线之间,其基本语法如下:```/regular_expression/````
(3)混合模式awk不仅支持单个的关系表达式或者正则表达式作为模式,还支持使用逻辑运算符&&、||或者!将多个表达式组合起来作为一个模式。其中,&&表示逻辑与,||表示逻辑或,!表示逻辑非。
(4)区间模式awk还支持一种区间模式,也就是说通过模式可以匹配一段连续的文本行。区间模式的语法如下:pattern1, pattern2其中,pattern1和pattern2都是前面所讲的匹配模式,可以是关系表达式,也可以是正则表达式等。当然,也可以是这些模式的混合形式。
(5)BEGIN模式BEGIN模式是一种特殊的内置模式,其成立的时机为awk程序刚开始执行,但是又尚未读取任何数据之前。因此,该模式所对应的操作仅仅被执行一次,当awk读取数据之后,BEGIN模式便不再成立。所以,用户可以将与数据文件无关,而且在整个程序的生命周期中,只需执行1次的代码放在BEGIN模式对应的操作中。
(6)END模式END模式是awk的另外一种特殊模式,该模式成立的时机与BEGIN模式恰好相反,它是在awk命令处理完所有的数据,即将退出程序时成立,在此之前,END模式并不成立。无论数据文件中包含多少行数据,在整个程序的生命周期中,该模式所对应的操作只被执行1次。因此,一般情况下,用户可以将许多善后工作放在END模式对应的操作中。
示例:

[root@localhost day8]# cat sorce.txt 
zhangsan 80
lisi 92
wangwu 60
zhaoliu 76
[root@localhost day8]# awk '$2 > 80 {print}' sorce.txt 
lisi 92
[root@localhost day8]# awk '/^l/{print}' sorce.txt 
lisi 92
[root@localhost day8]# awk '/^l/ && $2>80 {print}' sorce.txt 
lisi 92
[root@localhost day8]# awk '/^l/,$2==90 {print}' sorce.txt 
lisi 92
wangwu 60
zhaoliu 76
[root@localhost day8]# 

7.awk控制语句

作为一种程序设计语言,awk支持程序的流程控制,例如条件判断、循环以及其他的一些流程控制语句,例如continue、break以及exit等。
(1)if语句的功能是根据用户指定的条件来决定执行程序的哪个分支,其语法如下:

if (expression)
 { 
 	statement1 
 	statement2
 	}
 	else
 	{ 
 	statement3
 	 statement4
 	 }

示例:

  1. if: 给定一个成绩0-100,输出等级: A:85-100, B:70-84, C:60-69, D:0-59
{
 
if ($1  >= 85 && $1 <= 100){
    print $1,"A"
}
else 
{
    if ($1 >= 70 && $1<=84){
        print $1,"B"
    }
    else
    {
        if ($1 >= 60 && $1 <=69){
            print $1,"C"
        }
        else
        {
            if ($1 >=0 && $1 <= 59){
                print $1,"D"
            }
            else
            {
                print  $1  " Tips:invalue  scores "
            }
        }
    }
}
[root@localhost day8]#   chmod a+x awk_if.sh
[root@localhost day8]#  ./awk_if.sh score.txt 
55 D
120 Tips:invalue  scores
76 B
92 A

(2)for语句for循环语句
通常用在循环次数已知的场合中,其语法如下:

for(expression1; expression2; expression3)
{
 statement1 
 statement2
  ...
}

在上面的语法中,表达式expression1通常用来初始化循环变量,表达式expression2通常用来指定循环执行的条件,表达式expression3通常用来改变循环变量的值。当表达式expression2的值为真时,执行循环体中的语句。
示例:
2. for(): 计算1+2…+100的和

BEGIN{
sum=0
for(i=1;i<=100;i++){
    sum+=i
}
print "1+2+....+100="sum
}
 
[root@localhost day8]#  ./awk_for.sh 
1+2+....+100=5050

for循环还可以用来遍历数组元素:
语法: for(变量 in 数组){语句}
示例:
3. for(in): 定义一个数组:数组中的元素为: array[name]=age,-> zhangsan:18 lisi:20 wangwu=21
循环访问数组,并输出数组中的key和value

[root@localhost day8]#  vim awk_array.sh
#!/bin/awk -f
BEGIN{
array["zhangsan"]=18
array["lisi"]=20
array["wangwu"]=21
for(var in array){
    print var,array[var]
  }
}                                                
[root@localhost test]# ./awk_array.sh 
zhangsan 18
wangwu 21
lisi 20

(3)while语句是另外一种常用的循环结构,其语法如下:

while (expression)
{
statement1 
statement2
...
 }

当表达式expression的值为真时,执行循环体中的statement1以及statement2等语句。如果循环体中只包含一条语句,则可以省略大括号。

(4)awk还支持另外一种while循环语句,其语法如下:

do 
{
 statement1 
 statement2 
 ...
 }
 while (expression)

同样,当表达式expression的值为真时执行循环体中的语句。

示例:
4. 用while和do…while实现9*9乘法表

[root@localhost day8]#  vim do_while_awk.sh
#!/bin/awk -f
BEGIN {  
i=1     
    do
    {        
        j=1 
        do
        {
            printf("%d*%d=%d\t",i,j,i*j)
            j++
        }while(j<=i)
      i++
      printf("\n") 
    }while (i<=9)
}
[root@localhost day8]#  chmod a+x do_while_awk.sh
[root@localhost day8]# ./do_while_awk.sh 
1*1=1	
2*1=2	2*2=4	
3*1=3	3*2=6	3*3=9	
4*1=4	4*2=8	4*3=12	4*4=16	
5*1=5	5*2=10	5*3=15	5*4=20	5*5=25	
6*1=6	6*2=12	6*3=18	6*4=24	6*5=30	6*6=36	
7*1=7	7*2=14	7*3=21	7*4=28	7*5=35	7*6=42	7*7=49	
8*1=8	8*2=16	8*3=24	8*4=32	8*5=40	8*6=48	8*7=56	8*8=64	
9*1=9	9*2=18	9*3=27	9*4=36	9*5=45	9*6=54	9*7=63	9*8=72	9*9=81

8.awk中内置函数的使用

(1)split(string, array [, fieldsep [, seps ] ]) 功能:将string表示的字符串以fieldsep为分隔符进行分隔,并将分隔后的结果保存至array为名的数组中;数组下标为从1开始的序列;

[root@localhost day8]# date +%T | awk '{split($0,a,":");print a[1],a[2],a[3]}'
14 16 46

(2)length([string])功能:返回string字符串中字符的个数;

[root@localhost day8]# awk 'BEGIN{print length("helloworld")}'
10

(3)substr(string, start [, length])功能:取string字符串中的子串,从start开始,取length个;start从1开始计数;

[root@localhost day8]# awk 'BEGIN{print substr("helloworld",u,6)}'
hellow

(4)system(command)功能:执行系统command并将结果返回至awk命令

[root@localhost day8]# awk 'BEGIN{print system ("whoami")}'
root
0

(5)systime()功能:取系统当前时间

[root@localhost day8]# awk 'BEGIN{print systime()}'
1662099577

(6)tolower(s)功能:将s中的所有字母转为小写

[root@localhost day8]# awk 'BEGIN{print tolower("HELLOWORLD")}'
helloworld

(7)toupper(s)功能:将s中的所有字母转为大写

[root@localhost day8]# awk 'BEGIN{print toupper("HELLOworld")}'
HELLOWORLD
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值