Shell脚本⑦awk

最新推荐文章于 2024-05-18 15:24:52 发布
最新推荐文章于 2024-05-18 15:24:52 发布
阅读量1.1k 收藏 8
点赞数 41
文章标签： 服务器 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kiryu7/article/details/135931407
版权

目录

一.awk概述

1.awk介绍

2.基本格式

3.工作原理

4.常见的内建变量

二.awk基本操作

1.打印文本内容

（1）打印磁盘使用情况

（2）打印字符串

（3）打印字符串确定文件有多少行

2.根据$n以及NR提取字段

3.根据选项指定分隔符（-F）

（1）打印所有用户名

（2）打印多列内容

（3）打印磁盘已经使用情况（去除%）

（4）取出文本中的IP地址及时间

（5）取出文本中的主机并返回

4.根据关键字提取所在行

（1）提取以root开头的行

（2）提取root所在行

（3）提取nologin结尾的行

5.使用BEGIN输入包含指定字符

6.FS：指定每行文本的字段分隔符，默认为空格或制表符，与-F相同

7.NF：处理当前行的整行内容

（1）当前处理行的字段个数

（2）打印出每行最后一个字段

（3）打印出每行倒数第二字段

8.NR：当前处理行的行号

（1）当前处理行的行号

（2）NR==n代表行号等于什么

（3）NR%2==0取偶数行

（4）NR%2==1取奇数行

（5）NR==1,NR==4取区间行

（6）取UID数值范围$n>1000

三.试题练习

1.统计/etc/fstab文件中每个文件系统类型出现的次数

2. 统计/etc/fstab文件中每个单词出现的次数

​编辑

3.将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的IP地址

4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

一.awk概述

1.awk介绍

awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出，GNU/Linux发布的AWK目前由自由软件基金会（FSF）进行开发和维护，通常也称它为 GNU AWK

2.基本格式

awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

3.工作原理

前面提到 sed 命令常用于一整行的处理,而 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。

4.常见的内建变量

FS列分隔符。指定每行文本的字段分隔符，默认为空格或制表位。与“-F”作用相同
NF当前处理的行的字段个数
NR当前处理的行的行号
$0当前处理的行的整行内容
$n当前处理行的第n个字段
FILENAME被处理的文件名
RS行分隔符
$NF最后一段
$(NF-1)倒数第二段

二.awk基本操作

1.打印文本内容

  • awk可以将自动将多个空格压缩成一个空格

  • 打印字符串需要加双引号

（1）打印磁盘使用情况
df |awk '{print $5}'

（2）打印字符串
awk '{print "hello"}'

（3）打印字符串确定文件有多少行
awk '{print "hello"}' /etc/fstab 
 
awk '{print "hello"}' /etc/fstab |wc -l
 
cat /etc/fstab |wc -l

2.根据$n以及NR提取字段

ifconfig ens33|sed -n '2p'|awk '{print $2}'

ifconfig ens33 |awk 'NR==2{print $2}'

注意：$n代表提取第几列

3.根据选项指定分隔符（-F）

（1）打印所有用户名
cat /etc/passwd|awk -F":" '{print $1}'
或
cat /etc/passwd|awk -F: '{print $1}'

（2）打印多列内容
cat /etc/passwd|awk -F":" '{print $1,$2}'
 
cat /etc/passwd|awk -F":" '{print $1":"$2}'
 
cat /etc/passwd|awk -F":" '{print $1"+"$2}'

（3）打印磁盘已经使用情况（去除%）
#使用两条awk命令
df|awk '{print $5}'|awk -F% '{print $1}'
 
#使用一次awk命令
df|awk -F"[ %]+" '{print $5}'
 
##也可以使用（ |%）代表或者
df|awk -F"( |%)+" '{print $5}'

（4）取出文本中的IP地址及时间
##文本内容##
vim test.txt 
 
58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?
doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1" ""sendfileo
 
 
##提取##
cat test.txt |sed '2d'|awk -F"[[ ]"  '{print $5"\t"$1}'

（5）取出文本中的主机并返回
##文本内容##
vim host.txt 
 
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com
 
##提取##
cat host.txt |awk -F "[. ]" '{print $2}' >>host.txt

4.根据关键字提取所在行

（1）提取以root开头的行
cat /etc/passwd |awk -F":" '/^root/{print}'

（2）提取root所在行
cat /etc/passwd |awk -F: '/root/{print}'

（3）提取nologin结尾的行
cat /etc/passwd |awk -F":" '/nologin$/{print}' 
 
##如果提取/sbin/nologin,则需要\转义/
cat /etc/passwd |awk -F":" '/\/sbin\/nologin$/{print}'

5.使用BEGIN输入包含指定字符

  • BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;

  • awk再处理指定的文本，之后再执行END模式中指定的动作；

  • END{ } 语句块中，往往会放入打印结果等语句。

#先定义变量x，表示执行多少次
awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd

6.FS：指定每行文本的字段分隔符，默认为空格或制表符，与-F相同

7.NF：处理当前行的整行内容

（1）当前处理行的字段个数

（2）打印出每行最后一个字段
cat /etc/passwd |awk -F: '{print $NF}'

（3）打印出每行倒数第二字段
cat /etc/passwd |awk -F: '{print $(NF-1)}'


df|awk '{print $(NF-1)}'

8.NR：当前处理行的行号

（1）当前处理行的行号
#NR写在后面则在后面显示行号
#awk  -F: '{print $1,NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
shutdown 7
halt 8
 
#可以用制表符
awk  -F: '{print $1"\t"NR}' /etc/passwd
root	1
bin  	2
daemon	3
adm  	4
lp	    5
 
#NR写在前面则在前面显示行号
awk  -F: '{print NR"\t"$1}' /etc/passwd
1	root
2	bin
3	daemon
4	adm
5	lp

（2）NR==n代表行号等于什么
awk -F: 'NR==2 {print $1}' /etc/passwd

（3）NR%2==0取偶数行
awk -F: 'NR%2==0 {print $1}' /etc/passwd

（4）NR%2==1取奇数行
awk -F: 'NR%2==1 {print $1}' /etc/passwd

（5）NR==1,NR==4取区间行
awk -F: 'NR==1,NR==4 {print $1}' /etc/passwd

（6）取UID数值范围$n>1000
#取uid大于1000的行
awk -F: '$3>1000 {print}' /etc/passwd
 
 
#取uid大于等于1000的行
awk -F: '$3>=1000 {print}' /etc/passwd

三.试题练习

1.统计/etc/fstab文件中每个文件系统类型出现的次数

cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c

2. 统计/etc/fstab文件中每个单词出现的次数

grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort

3.将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的IP地址

cat log.txt |awk -F: '{print $3}' |sort |uniq -c |sort -rn |head

4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|grep -E -o "[0-9]+"

Linux糕手
关注
  • 41
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AWK脚本
qq_48644092的博客
11-09 2220
1、AWK脚本定义格式 格式1： BEGIN{} pattern{} END{} 格式2： #！/bin/awk -f #add 'x' right BEGIN{} pattern{} END{} 关于awk 脚本，需要注意两个关键词BEGIN和END BEGIN{ 这里面放的是执行前的语句 } END {这里面放的是处理完所有的行后要执行的语句} {这里面放的是处理每一行时要执行的语句} 格式1假设为f1.awk文件，格式2假设为f2.awk文件 awk [-v var=val
awk脚本
qq_29188123的博客
09-21 275
脚本注释： 注释以’ # '开始，以换行符结束，和sed不同。awk允许在任何地方添加注释 例如 #！/bin/bash 字段分离 awk允许使用字段操作符$来指定字段，在该操作符后面跟着一个数字或变量用于标识字段的位置 awk可以做预算 实例： [root@apache ~]# echo "a b c d" |awk 'BEGIN{one=1;two=2}{print $(one+two)}' c [root@apache ~]# awk '{print $1,$3}' test John 111-
awk-脚本
小波的专栏（u012893325）
08-28 1058
$ awk -f test_awk.awk ulb.txt BEGIN : 拭目以待 1 2 3 4 END : 就是这么强大 ~/mytest/shell ⌚ 17:55:51 $ cat test_awk.awk #!/bin/awk -f BEGIN {         printf "BEGIN : %s \n", "拭目以待" } {         n++         p...
Shell之三剑客awk命令
最新发布
2402_83805984的博客
05-18 642
在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。1.awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号。分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。先获取top命令的CPU空闲率，再通过计算得到CPU使用率。先执行BEGIN模式中指定的动作。2.BEGIN中的命令只执行依次。再执行END模式中指定的动作。while循环操作方法。
awk 脚本
CY_TEC的博客
09-06 329
计算均值、方差、标准差 awk '{x[$NF]+=1;l += 1;s += $NF} END{ m = s/l; print "mearn:",m; ss = 0; for(i in x) ss += (i - m)^2 * x[i]; v = ss/l; print "variance:",v; print "sd", sqrt(v)}' ~/data.txt ~/data.txt 一行一个数字
一个简单的awk脚本
cometdlut的专栏
04-30 1002
<br /> <br />这段时间网总断,白天去上班的时候,一直开着pt,网断了,pt自然就短了,但是电脑一直开着,浪费电阿,主要还是怕电脑一直开着,损耗啊!于是就想着写一个shell脚本,检测ping的结果,然后控制开关机,一旦没有速度,就自动关机了!<br />第一个版本,实验阶段,先把ping结果放到一个ping.txt文本里,然后利用脚本检测速度.<br />ping.txt文件片断<br />PING www.a.shifen.com (61.135.169.105) 56(84) bytes o
Shell脚本中awk指令的用法
09-15
在Shell脚本中，awk是一种强大的文本分析工具，它能够处理和解析文件中的数据，尤其在处理结构化数据时非常有效。awk的工作原理是逐行读取输入文件，然后对每一行执行用户定义的指令。下面我们将深入探讨awk指令在...
Shell脚本之awk篇
07-30
awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行扫描与处理。数据可 以来自标准输入、文件、管道。
shell脚本–awk的用法
01-20
1. awk的用法 语法格式：awk [选项] ‘指令’ 操作文件 常用选项：-F 指定分隔符，分隔符用””引起来 -v：var=value在awk程序开始之前指定一个值valu给变量var，这些变量值用于awk程序的BEGIN快 -f：后面跟一个保存...
shell脚本awk按照某列排序输出
01-09
for i in `awk -F ‘[ |]’ ‘{print NR,$2}’ mscto.txt|sort -rn -k2|awk ‘{print $1}’`; do awk ‘NR==’$i’ {print}’ mscto.txt; done ———————————— 43 108|64 33 46|54 81 38|24 72 33|38 64 ...
awk
suxinmin的专栏
03-02 2212
 @roylez: bizarrely trapped详解著名的awk oneliner，第一部分：空行、行号和计算偶然在网上看到有人注释过的《awk oneliner》，而且注释的人声称“全部弄懂这 些就已经是awk高手了”，而我也一直想学下awk又懒得花时间，然后就觉得这个东 西一定很适合我。为了督促自己看完这个系列，决定整个给翻译一遍。说实话看了 第一篇之后觉得awk的语句也不是那么天书了。原作者是Peteris Krumins，一个很 酷的家伙，你可以在titter上follow他(Peteris
Linux脚本awk
11-07
一、简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk 脚本学习
风二中的博客
05-21 183
awk IFS 示例 $oldIFS="$IFS" #保存旧值 $IFS=":" $while read user password uid gid rest_of_line;do if [ "$user" == "tom" ];then echo "$user's ID is $uid" fi done < /etc/passwd $IFS="$oldIFS" #恢复旧值 awk -F: 'length($2)==0 {print $1}' /etc/shadow #检测密码
awk脚本作业
ztthaha的博客
03-04 356
1.只处理用户ID为奇数的行,并打印用户名和uid号 awk -F : '{if($3%2 == 1){print $1,$3}}' /etc/passwd 2.显示系统的普通用户,并打印用户名和ID awk -F : '$1 != "root"{print $1,$3}' /etc/passwd 3.显示用户shell是’/bin/bash’的用户,并打印用户名 awk -F : '$7 == ...
awk脚本编程
小郑
02-25 146
awk循环语句使用方法和格式
脚本工具之awk
潇潇雨歇
06-10 552
文章目录简介1.awk实质是一种编程语言，基本作用在于查找和替换。2 基本用法3 内建变量4 awk中的匹配 ，（常用）awk默认扩展正则表达式其他相关用法：5 awk中的数值运算6 格式化输出7.awk文本过滤的基本用法8.awk常用内置变量：9.awk处理的时机9.（统计系统中使用bash作为登录Shell的用户总个数）：10.数学运算 简介 1.awk实质是一种编程语言，基本作用在于查找和替换。 2 基本用法 有文本名称为：awk.txt 内容为 john.wang male 30
awk 脚本_AWK单行代码和脚本可帮助您对文本文件进行排序
cuml0912的博客
07-12 329
awk 脚本 Awk是普遍存在的Unix命令，用于扫描和处理包含可预测模式的文本。 但是，由于它具有功能，因此也有理由将其称为编程语言。 令人困惑的是，awk有多个。 （或者，如果您认为只有一个，那么就会有几个克隆。）有awk ，它是Aho，Weinberger和Kernighan编写的原始程序，然后是nawk ， mawk和GNU版本gawk 。 GNU版本的awk是该实用程序的高度可移植...
AWK 脚本例子
keidoekd2345的专栏
01-31 597
能够到一个类似与 /data/sandbox/scanResult///0/1/41435/42458_2_result.xml 的路径，在该文件目录下还有一个以MD5命名的文件。需求是 根据XML 路径得到MD5 全部XML 文件路径保存在 randomSample55000_20150105_vre.list 文件中。 for xmlpath in `cat ../randomSamp
日常积累------awk脚本
MAGIC_YS的专栏
07-06 591
有必要将最近的一些技术整理整理，今天的主要整理目标：awk脚本 awk 命令的名称来源于三位作者的首字母，awk命令主要用逐行扫描处理文本文件，并且能够一次读取多个文件。 1.举一个简单的例子： awk -F '\t' '{print $1,$2,$NF}' a.txt awk 脚本每次读取a.txt文件中的一行，每一行按照回车符'\t'分割，$1对应分割后字符串数组的第一个字
shell脚本中awk的用法
06-28
### 回答1： awk是一种文本处理工具，常用于shell脚本中。它可以读取文本文件，对每一行进行处理，并输出结果。awk的基本语法为： awk 'pattern {action}' file 其中，pattern是一个正则表达式，用于匹配文本中的某些行；action是一个命令序列，用于对匹配到的行进行处理。awk会自动将每一行分割成若干个字段，可以通过$1、$2等变量来访问这些字段。例如，以下命令可以输出文件中第一列的内容： awk '{print $1}' file 除了基本语法外，awk还有很多高级用法，例如可以使用内置函数、变量、数组等。可以参考awk的官方文档或其他教程来学习更多内容。 ### 回答2： awk是一种文本处理工具，在shell脚本中经常用于对数据文件进行处理。它可以对文件进行逐行扫描，并按照指定的规则进行分割、匹配和处理。以下是awk在shell脚本中的用法详解： 1. 基本语法 awk 'pattern { command }' filename 其中，pattern是匹配模式，用于匹配文件中的文本；command是要执行的命令，可以是一行或多行。filename是要处理的文件名。 2. 变量 在awk中有很多内置变量可以使用，例如： - $0：表示整行文本 - $1, $2, $3...：表示第一、二、三列文本 - NF：表示当前行的列数 - NR：表示当前行的行号 - FS：表示字段分隔符，默认为制表符或空格 可以使用这些变量来进行数据的处理和统计。 3. 示例 下面是一些常用的awk示例： （1）从文件中抽取出第一列 $ awk '{print $1}' file.txt （2）统计文件中每行的单词数 $ awk '{print NF}' file.txt （3）筛选出文件中包含关键词的行 $ awk '/keyword/' file.txt （4）计算文件中各列的和 $ awk '{sum += $1 + $2 + $3} END {print sum}' file.txt （5）替换文本中的字符串 $ awk '{gsub("oldstring", "newstring")}1' file.txt 4. 总结 awk是一种非常强大的文本处理工具，它能够根据指定的模式从文本中提取信息，并对其进行处理和统计。熟练掌握awk的使用可以让我们更轻松地处理和分析大量文本数据。 ### 回答3： Shell脚本是编程语言之一，它可以利用awk命令来处理和分析文本数据。awk命令是Linux/Unix系统中经常使用的一个工具，可以对文本文件或标准输入数据进行扫描、过滤、处理和分析，从而很好地完成文本处理的任务。 在Shell脚本中，使用awk命令需要按照如下结构： ```bash awk 'commands' filename ``` 其中，`commands`是awk命令的参数，可以是简单的字符串或复杂的处理脚本。`filename`是需要处理和分析的文件名或者通过管道传输的标准输入数据。 awk命令的一些常用参数和语法如下： 1. `awk '{pattern + action}' filename`：在文件中搜索指定的模式或文本，并对匹配模式的行执行指定的操作。 2. `awk '{print $n}' filename`：将文件中的某列数据提取出来进行打印输出，$1表示第一列数据，$2表示第二列数据，以此类推。 3. `awk -F: '{print $1,$3}' filename`：指定文件的分隔符为“:”，然后提取文件的第一列和第三列数据。 4. `awk '{sum+=$1} END {print sum}' filename`：计算文件中的数据列的总和值，并进行输出。 5. `awk '/re/ {print $0}' filename`：搜索指定的正则表达式re，并将匹配的行输出。 6. `awk '{if($1="xxx") print $0}' filename`：对文件中的指定数据列进行筛选，符合条件就进行输出。 以上是awk命令的一些常用参数和语法，值得注意的是，awk命令非常强大，可以完成很多复杂的文本处理和数据分析，几乎可以操作所有的文本数据。所以，对于Shell脚本中的awk用法，需要根据具体的需求和场景进行灵活运用和学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值