Shell脚本之AWK

前言:这段时间主播心情不好,所以没有前言,但是作为三剑客里的大哥,awk是最难的同时也是最重要的,拐友们要认真看

目录

一.AWK的介绍

1.1AWK的概述

1.2AWK的工作原理

1.3AWK命令基本格式

1.4AWK的内置变量

2.AWK实例例子

2.1显示行数并打印

2.2查看的两种方式

2.3以冒号为分割,打印第一列

 2.4以x作为分隔符​编辑

2.5同时打印第一列和第二列内容

 2.6打印第一列和最后一列的内容

2.7以制表符为分割

2.8以:/为分割,打印第九列

 2.9打印磁盘已经使用情况

 2.10打印字符串

2.11 打印字符串确定文件有多少行

3.awk常用的内置变量

3.1实验

3.1.1打印包含root的整行内容

 3.1.2打印包含root的行的第一列

3.1.3打印包含root行的第一列和第六列

3.1.4显示root那一行的总列数

 3.1.5 以:/为分割,打印包含root的行数

3.1.6 打印总行数

 3.1.7打印第几行的第几列

 3.1.8打印最后一列

 3.1.9 打印文件最后一行

 3.1.10 打印每一行的列数

 3.1.11 显示行号

 3.1.12打印第二行

3.1.13 打印当前行有多少列

3.1.14 扩展生产:网卡的ip、流量

 3.1.15 awk的运算

 3.1.16 数值与字符串的比较

 3.2.1打印第五行内容

 3.2.2打印行数 <5的内容

 3.2.3精确匹配与模糊匹配第一列是root的

 3.2.4第三列>=1000的

 3.2.5逻辑运算 && ||

3.3打印数字的案列

 4.其他内置变量

4.1打印之前定义字段分隔符为冒号

 4.2//OFS定义了输出时以什么分隔

 4.3 FNR的行号在追加当有多个文件时

 4.4RS:指定以什么为换行符,这里指定是冒号,你指定的肯定是原文里存在的字符

4.5 把多行合并成一行输出

 4.6 awk的高级用法

 4.6.1定义引用变量

 4.6.2调用函数getline,读取一行数据的时候并不是得到当前行而是当前行的下一行

4.6.3显示奇数和偶数行

 五.awk 的 if语句 单分支 多分支 双分支

 六.总结


一.AWK的介绍

1.1AWK的概述

AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作
数据可以来自标准输入也可以是管道或文件
20世纪70年代诞生于贝尔实验室,现在centos7用的是gawk

1.2AWK的工作原理

1.当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出,如果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次

2.逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。


3.sed命令常用于一整行的处理,而awk比较、倾向于将一行分成多个""字段"然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符" &&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算,如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.3AWK命令基本格式

1.awk选项'模式或条件{操作}'文件1文件2 ...
2.awk -f 脚本文件 文件1  文件2 ..

格式:awk关键字    选项      命令部分  '{xxxx}'   文件名

1.4AWK的内置变量

内置变量命令内置变量含义
FS指定每行文本的字段分隔符,默认为空格或制表位。
NF当前处理的行的字段个数。
NR当前处理的行的行号(序数)。
$0当前处理的行的整行内容。
$n当前处理行的第 n 个字段(第 n 列)。
FILENAME被处理的文件名。
RS行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
FNR记录数(行号),从1开始,新的文件重新从1开始计数

ps:awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
简说:数据记录分隔,默认为\n,即每行为一条记录。

2.AWK实例例子

2.1显示行数并打印

[root@localhost ~]# cat /etc/passwd | head -10 > hehe
[root@localhost ~]# cat hehe

2.2查看的两种方式

2.3以冒号为分割,打印第一列

 2.4以x作为分隔符

2.5同时打印第一列和第二列内容

 2.6打印第一列和最后一列的内容

2.7以制表符为分割

2.8以:/为分割,打印第九列

 2.9打印磁盘已经使用情况

 2.10打印字符串

双引号和没双引号的区别

2.11 打印字符串确定文件有多少行

[root@localhost ~]# awk '{print "hello"}' /etc/fstab 
hehe
hehe
hehe
hehe
hehe
hehe
hehe
hehe
hehe
hehe
hehe
hehe
[root@localhost ~]# awk '{print "hello"}' /etc/fstab |wc -l
12
[root@localhost ~]# cat /etc/fstab |wc -l
12

3.awk常用的内置变量

命令含义
$1代表第一列
$2代表第二列以此类推
$0代表整行
NF一行的列数
NR行数

3.1实验

3.1.1打印包含root的整行内容

[root@localhost awk]# awk -F: ‘/root/{print $0}’ zz
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

 

 3.1.2打印包含root的行的第一列

[root@localhost awk]# awk -F: ‘/root/{print $1}’ zz
root
operator

3.1.3打印包含root行的第一列和第六列

[root@localhost ~]# awk -F: ‘/root/{print $1,$6}’ pass.txt //打印包含root的行的第一列和第六列

 

3.1.4显示root那一行的总列数

 3.1.5 以:/为分割,打印包含root的行数

3.1.6 打印总行数

 3.1.7打印第几行的第几列

 [root@localhost ~]# awk -F: ‘NR==2{print $1}’ /etc/passwd //打印第二行的第一列

 3.1.8打印最后一列

 3.1.9 打印文件最后一行

[root@localhost ~]# awk ‘END{print $0}’ /etc/passwd //打印文件最后一行

 3.1.10 打印每一行的列数

 3.1.11 显示行号

 3.1.12打印第二行

[root@localhost ~]# awk ‘NR==2’ /etc/passwd
//打印第二行,不加print也一样,默认就是打印 bin:x:1:1:bin:/bin:/sbin/nologin

[root@localhost ~]# awk ‘NR==2{print}’ /etc/passwd //同上效果
bin:x:1:1:bin:/bin:/sbin/nologin

3.1.13 打印当前行有多少列

[root@localhost ~]# awk  -F: '{print "当前行有"NF"列"}' zz
当前行有7列
当前行有7列

3.1.14 扩展生产:网卡的ip、流量

1.逐行执行开始之前执行什么任务,结束之后再执行什么任务,用BEGIN,END

2.BEGIN一般用来做初始化操作,仅在读取数据记录之前执行一次

3.END一般用来做汇总操作,仅在读取完数据记录之后执行一次

[root@localhost ~]# ifconfig ens33 | awk '/netmask/{print "本机的ip地址是"$2}'
本机的ip地址是192.168.75.135

[root@localhost ~]# ifconfig ens33 | awk '/RX p/{print $5"字节"}'
8341053字节

根分区的可用量
[root@localhost ~]# df -h | awk 'NR==2{print $4}'
45G

 3.1.15 awk的运算

 awk的运算案例:

[root@localhost ~]# awk 'BEGIN{x=10;print x}'  //如果不用引号awk就当作一个变量来输出了,所以不需要加$了
10
[root@localhost ~]# awk 'BEGIN{x=10;print x+1}'   //BEGIN在处理文件之前,所以后面不跟文件名也不影响
11
[root@localhost ~]# awk 'BEGIN{x=10;x++;print x}'
11
[root@localhost ~]# awk 'BEGIN{print x+1}'    //不指定初始值,初始值就为0,如果是字符串,则默认为空
1
[root@localhost ~]# awk 'BEGIN{print 2.5+3.5}'   //小数也可以运算
6
[root@localhost ~]# awk 'BEGIN{prawk 'BEGIN{print 2.5+3.5}'
1
[root@localhost ~]# awk 'BEGIN{print 3*4}'
12
[root@localhost ~]# awk 'BEGIN{print 3**2}'
9
[root@localhost ~]# awk 'BEGIN{print 2^3}'   //^和**都是幂运算
8

[root@localhost ~]# awk 'BEGIN{print 1/2}' 
0.5

[root@localhost ~]# awk -F: '/root/' /etc/passwd      //如果后面有具体打印多少列就没法省略print了
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin


模糊匹配,用~表示包含,!~表示不包含
[root@localhost ~]# awk -F: '$1~/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

[root@localhost ~]# awk -F: '$1~/ro/' /etc/passwd   //模糊匹配,只要有ro就匹配上
root:x:0:0:root:/root:/bin/bash
chrony:x:993:988::/var/lib/chrony:/sbin/nologin
setroubleshoot:x:990:984::/var/lib/setroubleshoot:/sbin/nologin

[root@localhost ~]# awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd

 

 

 3.1.16 数值与字符串的比较

关于数值与字符串的比较
比较符号:== != <= >= <

 3.2.1打印第五行内容

[root@localhost ~]# awk ‘NR== 5{print}’ /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@localhost ~]# awk
‘NR==5’ /etc/passwd lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 3.2.2打印行数 <5的内容

[root@localhost ~]# awk  'NR<5' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

 3.2.3精确匹配与模糊匹配第一列是root的

[root@localhost ~]# awk -F: '$3==0' /etc/passwd  //第三列等于0的
root:x:0:0:root:/root:/bin/bash

[root@localhost ~]# awk -F: '$1==root' /etc/passwd //第一列是root的
[root@localhost ~]# awk -F: '$1=="root"' /etc/passwd    //精确匹配一定是root
root:x:0:0:root:/root:/bin/bash

 3.2.4第三列>=1000的

[root@localhost ~]# awk -F: '$3>=1000' /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
shengjie:x:1000:1000:shengjie:/home/shengjie:/bin/bash

 3.2.5逻辑运算 && ||

||:或的意思

&&:且的意思

[root@localhost ~]# awk -F: '$3<10 || $3>=1000' /etc/passwd

||:

[root@localhost ~]# awk -F: '$3>10 && $3<1000' /etc/passwd

 &&:

[root@localhost ~]# awk -F: 'NR>4 && NR<10' /etc/passwd

3.3打印数字的案列

打印1-200之间所有能被7整除并且包含数字7的整数数字
[root@localhost ~]# seq 200 | awk '$1%7==0 && $1~/7/'
7
70
77
147
175

 4.其他内置变量

其他内置变量的用法FS(输入)、OFS、NR、FNR、RS、ORS
FS:输入字段的分隔符 默认是空格
OFS:输出字段的分隔符 默认也是空格
FNR:读取文件的记录数(行号),从1开始,新的文件重新重1开始计数
RS:输入行分隔符  默认为换行符
ORS:输出行分隔符  默认也是为换行符

4.1打印之前定义字段分隔符为冒号

[root@localhost ~]# awk 'BEGIN{FS=":"}{print $1}' hehe    
//在打印之前定义字段分隔符为冒号

 4.2//OFS定义了输出时以什么分隔

[root@localhost ~]# awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' hehe

 //OFS定义了输出时以什么分隔,$1$2中间要用逗号分隔,因为逗号默认被映射为OFS变量,而这个变量默认是空格
root---x
bin---x
daemon---x
adm---x
lp---x

 4.3 FNR的行号在追加当有多个文件时

[root@localhost ~]# awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts   //可以看出FNR的行号在追加当有多个文件时
1 
2 nameserver 114.114.114.114
3 search localdomain
1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# awk '{print NR,$0}' /etc/resolv.conf /etc/hosts
1 
2 nameserver 114.114.114.114
3 search localdomain
4 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
5 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

 4.4RS:指定以什么为换行符,这里指定是冒号,你指定的肯定是原文里存在的字符

[root@localhost ~]# awk 'BEGIN{RS=":"}{print $0}' /etc/passwd    //RS:指定以什么为换行符,这里指定是冒号,你指定的肯定是原文里存在的字符
root
x
0
0
root

4.5 把多行合并成一行输出

[root@localhost ~]# awk 'BEGIN{ORS=" "}{print $0}' /etc/passwd  
 //把多行合并成一行输出,输出的时候自定义以空格分隔每行,本来默认的是回车键

 4.6 awk的高级用法

 4.6.1定义引用变量

[root@localhost ~]# a=100
[root@localhost ~]# awk -v b="$a" 'BEGIN{print b}'    //将系统的变量a,在awk里赋值为变量b,然后调用变量b
100
[root@localhost ~]# awk 'BEGIN{print "'$a'"}'   //直接调用的话需要先用双引号再用单引号
100

 4.6.2调用函数getline,读取一行数据的时候并不是得到当前行而是当前行的下一行

[root@localhost ~]# df -h | awk 'BEGIN{getline}/root/{print $0}'

4.6.3显示奇数和偶数行

[root@localhost ~]# seq 10 | awk '{print $0;getline}'   //显示奇数行
1
3
5
7
9
[root@localhost ~]# seq 10 | awk '{getline;print $0}'   //显示偶数行
2
4
6
8
10


 五.awk 的 if语句 单分支 多分支 双分支

if语句:awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}

[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd    //第三列小于10的打印整行
[root@localhost ~]# awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd    //第三列小于10的打印第三列,否则打印第一列

 六.总结

总而言之作为三剑客中的老大哥,AWK还是蛮重要的,希望拐友们认真看

 

  • 16
    点赞
  • 48
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: awk是一种文本处理工具,常用于shell脚本中。它可以读取文本文件,对每一行进行处理,并输出结果。awk的基本语法为: awk 'pattern {action}' file 其中,pattern是一个正则表达式,用于匹配文本中的某些行;action是一个命令序列,用于对匹配到的行进行处理。awk会自动将每一行分割成若干个字段,可以通过$1、$2等变量来访问这些字段。例如,以下命令可以输出文件中第一列的内容: awk '{print $1}' file 除了基本语法外,awk还有很多高级用法,例如可以使用内置函数、变量、数组等。可以参考awk的官方文档或其他教程来学习更多内容。 ### 回答2: awk是一种文本处理工具,在shell脚本中经常用于对数据文件进行处理。它可以对文件进行逐行扫描,并按照指定的规则进行分割、匹配和处理。以下是awkshell脚本中的用法详解: 1. 基本语法 awk 'pattern { command }' filename 其中,pattern是匹配模式,用于匹配文件中的文本;command是要执行的命令,可以是一行或多行。filename是要处理的文件名。 2. 变量 在awk中有很多内置变量可以使用,例如: - $0:表示整行文本 - $1, $2, $3...:表示第一、二、三列文本 - NF:表示当前行的列数 - NR:表示当前行的行号 - FS:表示字段分隔符,默认为制表符或空格 可以使用这些变量来进行数据的处理和统计。 3. 示例 下面是一些常用的awk示例: (1)从文件中抽取出第一列 $ awk '{print $1}' file.txt (2)统计文件中每行的单词数 $ awk '{print NF}' file.txt (3)筛选出文件中包含关键词的行 $ awk '/keyword/' file.txt (4)计算文件中各列的和 $ awk '{sum += $1 + $2 + $3} END {print sum}' file.txt (5)替换文本中的字符串 $ awk '{gsub("oldstring", "newstring")}1' file.txt 4. 总结 awk是一种非常强大的文本处理工具,它能够根据指定的模式从文本中提取信息,并对其进行处理和统计。熟练掌握awk的使用可以让我们更轻松地处理和分析大量文本数据。 ### 回答3: Shell脚本是编程语言之一,它可以利用awk命令来处理和分析文本数据。awk命令是Linux/Unix系统中经常使用的一个工具,可以对文本文件或标准输入数据进行扫描、过滤、处理和分析,从而很好地完成文本处理的任务。 在Shell脚本中,使用awk命令需要按照如下结构: ```bash awk 'commands' filename ``` 其中,`commands`是awk命令的参数,可以是简单的字符串或复杂的处理脚本。`filename`是需要处理和分析的文件名或者通过管道传输的标准输入数据。 awk命令的一些常用参数和语法如下: 1. `awk '{pattern + action}' filename`:在文件中搜索指定的模式或文本,并对匹配模式的行执行指定的操作。 2. `awk '{print $n}' filename`:将文件中的某列数据提取出来进行打印输出,$1表示第一列数据,$2表示第二列数据,以此类推。 3. `awk -F: '{print $1,$3}' filename`:指定文件的分隔符为“:”,然后提取文件的第一列和第三列数据。 4. `awk '{sum+=$1} END {print sum}' filename`:计算文件中的数据列的总和值,并进行输出。 5. `awk '/re/ {print $0}' filename`:搜索指定的正则表达式re,并将匹配的行输出。 6. `awk '{if($1="xxx") print $0}' filename`:对文件中的指定数据列进行筛选,符合条件就进行输出。 以上是awk命令的一些常用参数和语法,值得注意的是,awk命令非常强大,可以完成很多复杂的文本处理和数据分析,几乎可以操作所有的文本数据。所以,对于Shell脚本中的awk用法,需要根据具体的需求和场景进行灵活运用和学习。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值