shell脚本之awk命令

1. awk的用法

语法格式:awk [选项] ‘指令’ 操作文件

常用选项:

-F: 指定分隔符,分隔符用""引起来

-v:var=value在awk程序开始之前指定一个值valu给变量var,这些变量值用于awk程序的BEGIN快

-f:后面跟一个保存了awk程序的文件,代替在命令行指定awk程序

2、实例1:在命令行直接输入awk指令

2.1、准备一个1.txt文件,内容如下

 

2.2、逐行读取文件1.txt内容并打印

  命令:awk '{print}' 1.txt 

[dhapp@conch01 shell]$ awk '{print}' 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$

 2.3、逐行读取文件内容,并打印该行,$0保存的是当前行的内容

 命令:awk ‘{print $0}’ 1.txt

[dhapp@conch01 shell]$ awk '{print $0}' 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$

上面标示awk对字段(列)的提取,如下:

字段提取:提取一个文本中的一列数据并打印输出

字段相关内置变量

  • $0 表示整行文本
  • $1 表示文本行中的第一个数据字段
  • $2 表示文本行中的第二个数据字段
  • $N 表示文本行中的第N个数据字段
  • $NF 表示文本行中的最后一个数据字段
[dhapp@conch01 shell]$ awk '{print $1}' 1.txt
123
123
345
12345
765
[dhapp@conch01 shell]$ awk '{print $2}' 1.txt
abc
cdf
ewr
dsa
sdfv
[dhapp@conch01 shell]$

注意:在不指定分割符的情况下,awk默认使用空白做分割符

2.4、为分隔符打印/etc/passwd文件的第一例内容

命令:awk -F ":" '{print $1}' passwd

[dhapp@conch01 shell]$ awk -F ":" '{print $1}' passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
rpc
rpcuser
nfsnobody
postfix
chrony
sshd
vagrant
clickhouse
dhapp
ntp
[dhapp@conch01 shell]$

3、将awk指令写入文件,通过-f选项调用

3.1、创建一个awkscript文件

[dhapp@conch01 shell]$ vim awkscript
[dhapp@conch01 shell]$ cat awkscript
BEGIN {

FS=":"

}

{print $1}
[dhapp@conch01 shell]$

3.2、通过调用awk指令文件来执行awk命令

命令:awk -f awkscript passwd

[dhapp@conch01 shell]$ awk -f awkscript passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
rpc
rpcuser
nfsnobody
postfix
chrony
sshd
vagrant
clickhouse
dhapp
ntp
[dhapp@conch01 shell]$

4、awk的BEGIN块和END块

BEGIN用于初始化FS变量(列分隔符),打印标题,或者初始化后需要在程序中调用的全局变量

END用于执行最后的运算或者打印最终的输出结果

END块和BEGIN不是必须的

5、在awk中使用正则匹配,正则表达式必须要放在//中

5.1、打印1.txt中匹配123的那一行内容

命令:awk ‘/123/{print}’ 1.txt

[dhapp@conch01 shell]$ cat 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$ awk '/123/{print}' 1.txt
123 abc
123 cdf
12345 dsa
[dhapp@conch01 shell]$

5.2、以" "为分隔符打印1.txt中匹配123的那一行中,第二列的内容

命令:awk -F " " '/123/{print $2}' 1.txt

[dhapp@conch01 shell]$ awk -F " " '/123/{print $2}' 1.txt
abc
cdf
dsa
[dhapp@conch01 shell]$

5.3、打印passwd中,第一列匹配root的行其第二列的内容 ~表示匹配

命令:awk -F ":" '$1 ~ /root/{print $2}' /etc/passwd

[dhapp@conch01 shell]$ awk -F ":" '$1 ~ /root/{print $2}' /etc/passwd
x
[dhapp@conch01 shell]$

6、awk的表达式和块

awk提供了多个比较操作符:"==" “>” “<” “<=” “>=” “!=” "~"匹配 "!~"不匹配

6.1、以":"为分隔符,打印/etc/passwd中第一列是root的行其第3列的内容

命令:awk 'BEGIN { FS=":"} $1 == "root" { print $3 }' passwd

 7、awk中的条件语句

7.1、以":“为分隔符,打印/etc/passwd文件中第一列匹配root的行,其第二列的内容

命令:awk ‘BEGIN {FS=":"} {if ($1 ~ “root”) {print $2}}’ /etc/passwd

7.2、以":"为分隔符,打印1.txt文件中,第一列匹配linux或者第二列匹配Network的行,其第三列的内容

命令:awk 'BEGIN {FS=”:"} ($1 ~ “linux” || $2 ~ “Network”) {print $3}’ 1.txt 

在这里插入图片描述 

7.3、 统计匹配ock的行有多少列

在awk中NF变量记录的是当前行中有多少列(默认是空格为分割符) 

命令:awk ‘/ock/{print NF}’ 1.txt 

在这里插入图片描述

7.4、打印1.txt中有3列的行的内容,示例中,第二行有三列,所以打印的就是第二行的内容

命令:awk ‘NF == 3 {print}’ 1.txt 

在这里插入图片描述

7.5、 输出1.txt中行号大于3的行,其最后一列的内容

$NF记录的是当前行最后一列的内容(如果每一行有多列内容)

NR记录的是当前行的行号

命令:awk ‘{if (NR > 3) {print $NF} }’ 1.txt

在这里插入图片描述 

 

7.6、格式化输入1.txt中行号大于3的行的行号和内容

命令:awk ‘{if (NR > 3) {print NR".\t"$0} }’ 1.txt

在这里插入图片描述

 

7.7、统计1.txt中有多少空行

命令:awk ‘BEGIN { x=0 } /^$/{x=x+1} END{print “find” " " x " " “blank lines”}’ 1.txt 

在这里插入图片描述

 

7.8、将3.txt文件中第二列内容做平方运算后再加1输入(字符串做平方运算后结果为0)

命令:awk ‘{print ($2**2) +1}’ 3.txt

在这里插入图片描述

 8、awk脚本示例

功能:打印1.txt文本中每一列的内容

#!/bin/bash
num=`awk -F ' ' 'NR==1 {print NF}' 1.txt`     # 统计1.txt文件有多少列
for i in `seq 1 $num`                       # 根据文件列数进行循环
do
  awk -v a=$i  '{print $a}' 1.txt         # 打印每一列的内容,-v 参数可以指定一个变量保存外部变量的值,将外部变量传递给awk
done
[dhapp@conch01 shell]$ vim awk.sh
[dhapp@conch01 shell]$ cat 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$ sh awk.sh
123
123
345
12345
765
abc
cdf
ewr
dsa
sdfv
[dhapp@conch01 shell]$ cat awk.sh
#!/bin/bash
num=`awk -F ' ' 'NR==1 {print NF}' 1.txt`     # 统计1.txt文件有多少列
for i in `seq 1 $num`                       # 根据文件列数进行循环
do
  awk -v a=$i  '{print $a}' 1.txt         # 打印每一列的内容,-v 参数可以指定一个变量保存外部变量的值,将外部变量传递给awk
done
[dhapp@conch01 shell]$

  • 5
    点赞
  • 40
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
awk命令是一种用于处理文本文件的强大工具,常用于 shell 脚本中。它可以根据指定的规则对文本进行分割、格式化和提取等操作。下面我将为您解释一些常见的使用示例和处理规则。 示例1:使用awk命令将一个文件中的整数部分提取出来,存到另外一个文件中。假设我们有一个名为input.txt的文件,其中包含了一些数字,我们想要提取出这些数字的整数部分并存储到output.txt文件中。可以使用以下命令实现: ```shell awk '{print int($0)}' input.txt > output.txt ``` 这个命令会逐行读取input.txt文件的内容,将每一行的数字取整后输出到output.txt文件中。 示例2:提取passwd文件中的用户名和UID。假设我们有一个名为passwd的文件,其中包含了系统用户的信息。我们想要提取出用户名和对应的UID。可以使用以下命令实现: ```shell awk -F: '{print $1, $3}' passwd ``` 这个命令使用冒号作为字段分隔符(-F:),然后打印出每一行的第一个字段(用户名)和第三个字段(UID)。 处理规则: - awk命令的处理规则通常由花括号{}包围,可以在其中使用各种条件和操作。 - 可以使用条件语句(if、else)和循环语句(for、while)对文本进行处理。 - 可以使用内置的函数和运算符进行数学计算、字符串处理等操作。 - 可以使用特殊变量(例如$0表示整行文本,$1表示第一个字段)引用文本中的内容。 总之,awk命令是一种非常强大和灵活的文本处理工具,可以在shell脚本中广泛应用。它提供了丰富的功能和语法,可以根据具体需求对文本进行各种操作和提取。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [写脚本必用命令——awk命令的讲解](https://blog.csdn.net/m0_54355780/article/details/122479439)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值