Linux ---- Shell编程三剑客之AWK

已于 2024-01-31 17:07:01 修改
阅读量1k 收藏 19
点赞数 23
分类专栏： Linux系统Shell脚本编程 文章标签： linux 运维 服务器
于 2024-01-31 15:18:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AH99999/article/details/135932905
版权

一、awk处理文本工具

1、awk概述

  • awk 是一种处理文本文件的语言，是一个强大的文本分析工具。
  • AWK是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作。用来处理列。
  • 数据可以来自标准输入也可以是管道或文件。
  • 读取一行处理一行，

2、awk工具

  • 功能强大的编辑工具
  • 无交互情况下实现复杂的文本操作

命令格式

awk 选项 '模式或条件 {处理动作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …

program分为两部分
①处理动作 {print  {print}}，，print可以写多个，可以嵌套
②正则表达式

常用选项

-F   指定分隔符，指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符
-v   var=value  自定义变量
-F  和 -FS 不要一起使用， -F的优先级高

二、工作原理

  • 当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
  • 如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

  • sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。
  • awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
  • 在使用awk命令的过程中,可以使用逻辑操作符"
  • &&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

三、基础用法

1、print动作

ifconfig ens33 |awk '{print}'    ##打印ens33网卡

ifconfig ens33 |awk '/netmask/{print}'    ##查找包含netmask的行

awk '{print "hello"}'

你有多少行文件就打印多少行hello

awk 'BEGIN{print 100+200}'    ##直接打印出结果
200

awk '{print 100+200}'         ###有几行打印几次结果


awk 'BEGIN{print 100*200}'    ##也可以相乘
20000

用awk提取磁盘 "已用" 列

+号代表空格有多个

打印passwd文件的第一列和第三列

以冒号为分隔符

也可以改为其他分隔符

++++

tab分隔符"\t"

[root@localhost ~]#wc -l /etc/passwd
45 /etc/passwd

[root@localhost ~]#awk -F: '{print $0}' /etc/passwd         #$0代表全部元素

[root@localhost ~]#awk -F: '{print $1}' /etc/passwd         #代表第一列

[root@localhost ~]#awk -F: '{print $1,$3}' /etc/passwd      #代表第一第三列

[root@localhost ky15]#awk '/^root/{print}' passwd           #已root为开头的行

[root@localhost ky15]#grep -c "/bin/bash$" passwd           #统计当前已/bin/bash结尾的行
2

2、awk常见的内置变量

awk 选项 '模式{print }’

选项

-v：定义变量  awk中的变量，，不会影响bash

-F：指定分隔符

FS :指定每行文本的字段分隔符，缺省默认为空格或制表符（tab）。与 “-F”作用相同  -v "FS=:"

OFS：输出时的分隔符

NF：当前处理的行的字段个数     *****

NR：当前处理的行的行号（序数）  *****

$0：当前处理的行的整行内容

$n：当前处理行的第n个字段（第n列）

FILENAME:被处理的文件名

RS：行分隔符。awk从文件上读取资料时，将根据RS的定义就把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是\n

1.FS :指定每行文本的字段分隔符，缺省默认为空格或制表符（tab）。与 “-F”作用相同  -v "FS=:"

-F  -FS 一起使用时，-F的优先级高

打印passwd文件的第一列和第三列

fs

OFS：输出时的分隔符

RS：行分隔符

NF： 代表字段个数   *****

打印倒数第二例

NR：显示行号   *****

ifconfig ens33 |awk 'NR ==1,NR==3{print}'    ##打印1到三行

awk -F: '$3>=1000{print $1,$3}' /etc/passwd

FNR：读取文件的记录行号（从1开始，若读取新的文件依旧是从1开始）

这样他将两个文件的行数并在一起算，passwd一共41行，其他的是fstab的行数

3、自定义变量

printf   

  • %s：显示字符串
  • %d, %i：显示十进制整数
  • %f：显示为浮点数
  • %e, %E：显示科学计数法数值 
  • %c：显示字符的ASCII码
  • %g, %G：以科学计数法或浮点形式显示数值
  • %u：无符号整数
  • %%：显示%自身
awk -F:  '{printf "%s",$1}' /etc/passwd
awk -F:   '{printf "%s\n",$1}' /etc/passwd
awk -F:   '{printf "%20s\n",$1}' /etc/passwd
awk -F:   '{printf "%-20s\n",$1}' /etc/passwd
awk -F:   '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
awk -F:   '{printf "Username: %s\n",$1}' /etc/passwd
awk -F:   '{printf “Username: %sUID:%d\n",$1,$3}' /etc/passwd
awk -F:   '{printf "Username: %25sUID:%d\n",$1,$3}' /etc/passwd
awk -F:   '{printf "Username: %-25sUID:%d\n",$1,$3}' /etc/passwd

4、模式pattern

awk '模式{处理动作}'

PATTERN:根据pattern条件，过滤匹配的行，再做处理

1.模式为空

如果模式为空表示每一行都匹配成功，相当于没有额外条件

awk -F: '{print $1,$3}' /etc/passwd

2.正则匹配

/regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来

awk  '/^UUID/{print $1}'  /etc/fstab

3.line ranges：行范围

  • 不支持使用行号，但是可以使用变量NR 间接指定行号加上比较操作符 或者逻辑关系
[root@centos7 ~]#awk 'NR==3{print $1}' /etc/passwd
[root@centos7 ~]#seq 10 | awk 'NR>=3 && NR<=6'
[root@centos7 ~]#awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd

[root@centos7 ~]#awk '/^bin/,/^adm/' /etc/passwd
#bin开头 到adm开头

[root@localhost ky15]#awk '{print $1,NR}' /etc/passwd
##行号
[root@localhost ky15]#awk 'NR==2{print $1}' /etc/passwd
#只取第二行的第一个字段
[root@localhost ky15]#awk 'NR==1,NR==3{print}' passwd 
#打印出1到3 行
[root@localhost ky15]#awk 'NR==1||NR==3{print}' passwd
#打印出1和3行
[root@localhost ky15]#awk '(NR%2)==0{print NR}' passwd
#打印出函数取余数为0行
[root@localhost ky15]#awk '(NR%2)==1{print NR}' passwd
#打印出函数取余数为1的行
[root@localhost ky15]#awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd

[root@localhost ky15]#seq 10|awk 'NR>5 && NR<10'
#取 行间
6
7
8
9
[root@localhost ky15]#awk '$3>1000{print}' /etc/passwd
#注意分隔符
#打印出普通用户 第三列 大于1000 的行
算术操作符
x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值
比较操作符：
==, !=, >, >=, <, <=
#####逻辑
与：&&，并且关系
或：||，或者关系
非：!，取反

举例：/pat1/,/pat2/ 面试题 找到10:00 到 11:00 之间的日志
awk '/10/,/11/'  文件名
sed -nr '/10/,/11/p'   文件名

4.BEGIN 和END

  • 第一步：执行BEGIN{action;… }语句块中的语句
  • 第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，
  • 从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
  • 第三步：当读至输入流末尾时，执行END{action;…}语句块
  • BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
  • END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
  • pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

 BEGIN：在打印所有命令之前先打印 -----

END：在打印所有命令之后再打印 -----

5.关系表达式

  • 非0为真，0为假

关系表达式打印奇数行

关系表达式打印偶数行

6.条件判断

if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2}else if(condition3){statement3}...... else {statementN}

condition1:条件
statement1:语句

if语句：awk的if语句也分为单分支、双分支和多分支
单分支为if(判断条件){执行语句}
双分支为if(判断条件){执行语句}else{执行语句}
多分支为if(判断条件){执行语句}else if(判断条件){执行语句}else if(判断条件){执行语句}else if(判断条件){执行语句

5、for | while

for(expr1;expr2;expr3) {statement;…}
for(variable assignment;condition;iteration process) {for-body}
for(var in array) {for-body}



 awk 'BEGIN{sum=0;for(i=1;i<=100;i++){sum+=i};print sum}'
5050
 for((i=1,sum=0;i<=100;i++));do let sum=i+sum;done;echo $sum
5050

6、数组

awk数组特性：

  • awk的数组是关联数组(即key/value方式的hash数据结构)，索引下标可为数值(甚至是负数、小数等)，也可为字符串 1. 在内部，awk数组的索引全都是字符串，即使是数值索引在使用时内部也会转换成字符串 2. awk的数组元素的顺序和元素插入时的顺序很可能是不相同的

  • awk数组支持数组的数组

1.访问、赋值数组元素

arr[idx]
arr[idx] = value

索引可以是整数、负数、0、小数、字符串。如果是数值索引，会按照CONVFMT变量指定的格式先转换成字符串

2.遍历数组

统计LISTEN变量出现多少次

扩展一个

3。模糊匹配

7、awk脚本

[root@centos7 ~]#cat test.awk
#!/bin/awk -f     声明解释器
#this is a awk script
{if($3>=1000)print $1,$3}
[root@centos8 ~]#chmod +x test.awk
[root@centos8 ~]#./test.awk -F: /etc/passwd
nobody 65534
zhangsan 1000

练习：

提取下面的字段中的 IP地址和时间

vim test


58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1"""sendfileo

提取地址

host.txt主机名后再放回host.txt文件

vim host.txt

www.kgc.com
mail.kgc.com
ftp.kgc.com
linux.kgc.com
blog.kgc.com

 统计/etc/fstab文件中每个文件系统类型出现的次数

统计/etc/fstab文件中每个真单词出现的次数

提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

查出/tmp/的权限，以数字方式显示

查出用户UID最大值的用户名、UID及shell类型

奋斗的小鸟~
关注
  • 23
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell ——正则表达式三剑客+三个shell小工具
与之二三事、
06-14 637
目录
shell三剑客详解
weixin_42608299的博客
02-16 1299
"Shell三剑客"指的是在Linux/Unix系统下使用最广泛的三个命令行工具：grep、sed和awk。它们都是文本处理工具，可以用于快速搜索、替换和处理大量文本数据。 grep：用于在文件中搜索指定的文本模式，并将匹配的行打印出来。常用的选项包括： -i：忽略大小写。 -r：递归地搜索目录中的所有文件。 -v：输出未匹配的行。 -w：只匹配整个单词，而不是部分匹配。 示例：搜索包含特...
shell脚本文本三剑客grep，sed，awk
最新发布
yunjisuanxietu的博客
02-19 734
在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。AWK信息的读入也是逐行指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。执行：默认情况下，所有的sed 命令都在模式空间中顺序地执行， 除非指定了行的地址，否则sed 命令将会在所有的行上依次执行。
awk脚本用法
qq_33172851的博客
11-27 1541
awk脚本用法---传参----同时处理多个文件---awk使用数组
Shell三剑客（grep、sed、awk）
礁之的博客
12-20 7946
Shell三剑客（grep、sed、awk）一、grep二、sed流编辑器（1）sed简介：（2）工作流程：- 常见选项- 常见操作- sed替换标记- sed元字符集sed用法示例（1）输出符合条件的文本（2）删除符合条件的文本 ’d'（3）替换符合条件的文本（4）迁移符合条件的文本（5）使用脚本编辑文件三、awk工具（1）awk工作流程（2）awk常见用法（3）特殊的内建变量用法示例：（1）按行输出文本（2）按字段输出文本（3）通过管道符、双引号调用shell命令 一、grep grep的一些正则表达式
linux awk命令详解
风吟
08-29 735
linux awk命令详解 简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始...
linux-Shell编程视频教程
12-03
11.2.3 Shell编程-字符截取命令-awk命令.mp4 11.2.4 Shell编程-字符截取命令-sed命令.mp4 11.3 Shell编程-字符处理命令.mp4 11.4 Shell编程-条件判断.mp4 11.5.1 Shell编程-流程控制-if语句.mp4 11.5.2 Shell...
linux-awklinux-awk
08-10
linux-awk.doc
shell编程—-awk
01-20
awk2. awk模式匹配3. 记录和域4. 关系和布尔运算符5. 表达式6. 系统变量7. 格式输出8. 内置函数练习 1. awk   正则表达式的扩展，awk、perl等支持正则表达式扩展出来的一些元字符。 扩展的正则表达式元字符及其...
MOXA_AWK-3121配置方法及要点说明
09-13
MOXA_AWK-3121配置方法及要点说明
Linux运维-运维系统服务04-Shell脚本d7-Shell三剑客（下）-17awk结合循环语句使用1.mp4
06-20
Linux运维-运维系统服务04-Shell脚本d7-Shell三剑客（下）-17awk结合循环语句使用
学习shell必会的三剑客详解
weixin_48191039的博客
11-03 3023
这里写目录标题Shell编程三剑客grep命令工具sed命令工具sed :实现数据的替换，删除，增加，选取等(以行为单位进行处理)删除file_name文件的2到4行awk 命令工具awk : 以字段为单位进行处理(其实就是把一行的数据分割，然后进行处理)先介绍一些关于awk的用法：具体命令：三剑客命令总结： Shell编程三剑客 在Linux/UNIX系统中包含很多文本处理器或文本编辑器，其中grep、sed和awk是shell编程中经常用到的文本处理工具，因此，被业内的人广泛的称之为“shell编程三剑
Shell工作实践：三剑客
时间墨客
07-31 457
知识点：1）/^nologin/:以nologin开头 /nologin$/:以nologin结尾2）wc命令用于计算字数。参数：-c, --bytes：统计字节数。-m, --chars：统计字符数。-w, --words：统计字数。-l, --lines：统计行数。-L, --max-line-length：统计最长行的长度3）阅读：awk '/nologin$/{x++;#输出以root开头的行#输出以 nologin 结尾的行#输出不是第10行的所有行。
Shell——正则表达式及sed工具应用
ML908的博客
12-05 422
文章目录一、查找特定字符（grep）元字符总结二、扩展正则表达式三、sed工具sed 命令常见用法：用法示例：1、输出符合条件的文本（p表示正常输出）2、删除符合条件的文本（d）3、替换符合条件的文本4、迁移（剪切）符合条件的文本5、使用脚本编辑文件 一、查找特定字符（grep） 1、grep查找特定字符 -n 显示行号 -n 显示行号 -i 忽略大小写 -v 反向查找 grep查找条件使用‘...
Shell脚本攻略：文本三剑客之awk
cronaldo91的博客
06-07 1128
③print打印顺序：'BEGIN{print "1"} END {print "2"} {print "3"} '，首先打印BEGIN后的print 1,然后打印print 3 最后打印END后的print 2，BEGIN表示第一个打印，END表示最后打印。②print动作：打印，打印'{print $1}'即为打印第一列，'{print $n}'即打印为第n列，'{print $n,$m}'即为打印第n列和第m列。awk非常复杂，所以这不是一个完整的指南，但应该给你一个知道什么 awk 可以做。
Shell脚本文本三剑客------grep、sed
rmh0713的博客
01-29 1053
①sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先先提供的一组规则来编辑数据流。②sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么储存在一个命令文本文件中。
shell脚本----awk命令
我的博客
05-15 2238
在使用awk命令的过程中,可以使用逻辑操作符"&&“表示"与”、“||“表示"或”、”!"表示"非，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句。$1=$1 是用来激活$0的重新赋值,也就是说 字段$1…和字段数NF的改变会促使awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做。$1=$1 是用来激活$0的重新赋值,也就是说 字段$1…
linux shell awk -F
09-01
Linux Shell中的awk -F命令用于指定字段的分隔符。在awk命令中，借用shell中类似于位置变量的方法，使用$1、$2、$3等顺序表示行（记录）中的不同字段。而awk命令默认的分隔符是空格。但是通过使用awk -F命令，我们可以指定其他字符作为分隔符来处理文本和数据。例如，如果我们想要以逗号作为分隔符，我们可以使用awk -F","来指定逗号为分隔符。这样，在awk命令中，我们就可以使用$1、$2、$3等来表示逗号分隔的不同字段了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [linux awk命令详解](https://blog.csdn.net/qq_15245487/article/details/100144279)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [【linux】Shell 编程 awk 命令详解](https://blog.csdn.net/sirria1/article/details/126768903)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Shell脚本之awk篇](https://download.csdn.net/download/rio520/10572387)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值