shell awk

已于 2022-11-15 13:39:24 修改
阅读量645 收藏 1
点赞数
分类专栏： Linux 文章标签： linux awk Shell
于 2022-08-29 14:32:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiaxinhong/article/details/126584290
版权

基本介绍

awk

awk是一个强大的文本分析工具，在对文本文件的处理以及生成报表，awk是无可替代的。awk认为文本文件都是结构化的，它将每个输入行定义为一个记录，行中的每一个字符串定义为一个域(段)，域和域之间使用分割符分割。

功能

流控制、数学运算、进程控制、内置的变量和函数、循环和判断函数

工做原理

awk 会把每行进行一个拆分，用相应的命令对拆分出来的“段”进行处理。测试

（1）行工做模式，读入文件的每一行，会把一行的内容，存到$0里this

（2）使用内置的变量FS(段的分隔符，默认用的是空白字符)，分割这一行，把分割出来的每一个段存到相应的变量$(1-100)spa

（3）输出的时候按照内置变量OFS(out FS)，输出命令行

（4）读入下一行继续操做

简单实例

[root@tx3 ~]# echo “this is a book” > awk.txt

[root@tx3 ~]# awk ‘{print $2,$1,$3,$4}’ awk.txt

is this a book

Awk经常使用内置变量表：

$0 当前记录（做为单个变量）

1   1~ 1 n 当前记录的第n个字段，字段间由FS分隔

FS 输入字段分隔符 默认是空格

NF 当前记录中的字段个数，就是有多少列

NR 已经读出的记录数，就是行号，从1开始

RS 输入的记录分隔符默认为换行符

OFS 输出字段分隔符默认也是空格

ORS 输出的记录分隔符，默认为换行符

ARGC 命令行参数个数

ARGV 命令行参数数组

FILENAME 当前输入文件的名字

IGNORECASE 若是为真，则进行忽略大小写的匹配

ARGIND 当前被处理文件的ARGV标志符

CONVFMT 数字转换格式 %.6g

ENVIRON UNIX环境变量

ERRNO UNIX系统错误消息

FIELDWIDTHS 输入字段宽度的空白分隔字符串

FNR 当前记录数

OFMT 数字的输出格式 %.6g

RSTART 被匹配函数匹配的字符串首

RLENGTH 被匹配函数匹配的字符串长度

print的简单使用

例：打印整行: $0

[root@tx3 ~]# cp /etc/passwd p1

[root@tx3 ~]# awk ‘{print $0}’ p1

例：打印每行的最后一个字段: $NF

[root@tx3 ~]# awk -F : ‘{print $NF}’ p1

例：打印第三个字段: $3

[root@tx3 ~]# awk -F : ‘{print $3}’ p1

例：打印第一行NR==1

[root@tx3 ~]# awk ‘NR==1{print $0}’ p1

root : x:0:0:root:/root:/bin/bash

例：打印最后一行

[root@tx3 ~]# awk ‘END{print $0}’ p1

tx: x:500:500:tx:/home/tx:/bin/bash

例：打印第一行最后一个字段

[root@tx3 ~]# awk -F: ‘NR==1{print $NF}’ p1

/bin/bash

例：打印最后一行最后一个字段

[root@tx3 ~]#awk -F: ‘END{print $NF}’ p1

例：打印每行的倒数第二个字段，并在其后打印你好

[root@tx3 ~]# awk -F: ‘{print $(NF-1),“nihao”}’ p1

/root nihao

/bin nihao

/sbin nihao

例：打印行号

[root@tx3 ~]# awk ‘{print NR,$0}’ p1

1 root: x:0:0:root:/root:/bin/bash

2 bin: x:1:1:bin:/bin:/sbin/nologin

3 daemon: x:2:2:daemon:/sbin:/sbin/nologin

例：打印当前系统环境变量的某个特定值

[root@tx3 ~]# awk ‘BEGIN{print ENVIRON[“PATH”];}’

/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

例： 用:分割，删除第2个字段

[root@tx3 ~]# awk ‘BEGIN{FS=“:”;OFS=“:”}{print $1,$3,$4,$5,$6,$7}’ p1

root:0:0:root:/root:/bin/bash

bin:1:1:bin:/bin:/sbin/nologin

daemon:2:2:daemon:/sbin:/sbin/nologin

printf的使用

print format 生成报表

%d 十进制有符号整数

%u 十进制无符号整数

%f 浮点数

%s 字符串

%c 显示字符的ASCII码

%p 指针的值

%e 科学技术法显示数值

%x %X 无符号以十六进制表示的整数

%o 无符号以八进制表示的整数

%g %G 以科学计数法或浮点数的格式显示数值

%% 显示其自身

修饰符：

-: 左对齐

+: 显示数值符号

N： 显示

-F 指定段的分隔符

例：（1）生成报表

例：（2）小数问题

对小数取保留位的时候，四舍五入

对小数取整，不进行四舍五入

[root@tx3 ~]# cat awk.1

23.3456 11.234 45.67

[root@tx3 ~]# awk ‘{printf “%.2f\t%.2f\t%.2f\n”,$1,$2,$3}’ awk.1

23.3511.2345.67

awk的使用

（1）正则表达式

() {} 不支持

. * ^ $ ? + [] | < > () 能够直接使用

例[root@tx3 ~]# awk ‘/^$/{print “this is an empty line”}’ /etc/inittab

this is an empty line

this is an empty line

this is an empty line

this is an empty line

this is an empty line

this is an empty line

this is an empty line

this is an empty line

this is an empty line

例[root@tx3 ~]# awk -F: ‘/^root/{print 1 , 1, 1,NF}’ /etc/passwd

root /bin/bash

例[root@tx3 ~]# awk -F: ‘!/^root/{print 1 , 1, 1,NF}’ /etc/passwd|head -3

bin /sbin/nologin

daemon /sbin/nologin

adm /sbin/nologin

（2）关系运算符

> < == != >= <=

~（匹配） !~（不匹配）

例[root@tx3 ~]# cp /etc/passwd p1

[root@tx3 ~]# awk -F: ‘$3 == 0 {print $1}’ p1

Root

例[root@tx3 ~]# awk -F: ‘$3 != 0{ print $1}’ p1 | head -2

bin

Daemon

例[root@tx3 ~]# awk -F: ‘$3 < 2 {print $1}’ p1

root

bin

（3）逻辑运算符

&& || !

与 或 非

例[root@tx3 ~]# awk -F: ‘$3 > 0 && $3 < 10 {print $1, $3}’ p1 |head -2

bin 1

daemon 2

例[root@tx3 ~]# awk -F: ‘$3 > 10 || $3 < 5 {print $1,$3}’ p1 |head -6

root 0

bin 1

daemon 2

adm 3

lp 4

operator 11

（4）算数运算符

+ - * / %（取模(余数)） ^（幂运算）

例：输出名字，总成绩，平均成绩

[root@tx3 ~]# cat cj

tx 90 86 86

tx1 89 78 85

tx2 79 80 85

[root@tx3 ~]# awk ‘{print $1,$2+$3+$4,($2+$3+$4)/3}’ cj

tx 262 87.3333

tx1 252 84

tx2 244 81.3333

[root@tx3 ~]# awk ‘{printf"%-5s %3d %.2f\n",$1,$2+$3+$4,($2+$3+$4)/3}’ cj

tx 262 87.33

tx1 252 84.00

tx2 244 81.33

（5）BEGIN END

BEGIN{ 动做;动做;… } 在处理文件以前，要执行的动做；只执行一次

END{ 动做;动做;… } 在处理完文件以后，要执行的动做；只执行一次

BEGIN ：能够给文件添加标题、定义变量、定义文件的分隔符

END：汇总的操做

getline能够从管道和标准输入读取输入，而后传递给变量。

例：

[root@tx3 ~]# awk ‘BEGIN{“date”| getline a}{print}END{print a}’ cj

tx 90 86 86

tx1 89 78 85

tx2 79 80 85

Thu Feb 7 12:39:25 CST 2013

awk里的流控制和循环

（1）简单的条件判断

语法：(表达式 ? 值1 : 值2) 若是表达式成立，输出值1；不然输出值2

[root@tx3 ~]# cat num

2 8 9

8 4 6

3 5 7

[root@tx3 ~]# awk ‘{print ( $1 > $2 ? $1 : $2)}’ num

8

8

5

（2）if判断

语法：

{ if (表达式

{

​ 动做1;动做2;…

}

}

若是表达式成立，那么执行动做。

[root@tx3 ~]# awk ‘{if ($2>=80 && $2 <=100) {print $1,“great”} else {print $1, “good”}}’ cj

tx great

tx1 great

tx2 good

（2）多支判断

{

if (表达式)

{ 动做1;动做2;…}

else if (表达式)

{ 动做1;动做2;…}

else if (表达式)

{ 动做1;动做2;…}

…

else

{ 动做1;动做2;…}

}

[root@tx3 ~]# cat cj

tx 90 86 86

tx1 89 78 85

tx2 79 80 85

tx3 80 70 60

tx4 75 85 65

tx5 78 62 80

判断的标准：

90-100 A

80-89 B

70-79 C

60-69 D

0-59 E

[root@tx3 ~]# awk ‘{ if ($2 >= 90 && $2 <= 100) {print $1,“A”} else if ($2 >= 80 && $2 < 90) {print $1,“B”} else if ($2 >= 70 && $2 < 80) {print $1,“C”} else if ($2 >= 60 && $2 < 70) {print $1,“D”} else {print $1,“E”} }’ cj

tx A

tx1 B

tx2 C

tx3 B

tx4 C

tx5 C

（3）循环while

语法：‘var=初值;while (表达式){动做1;…更新变量的动做;}’

例：

[root@tx3 ~]# awk -F: ‘{i=1; while (i<=NF) {print $i;i++}}’ p1 | head -7

root

x

0

0

root

/root

/bin/bash

例. 方法一

[root@tx3 ~]# awk -F: ‘{i=NF; while (i>=2) {printf $i “:”;i–};print $1}’ p1

/bin/bash:/root:root:0:0❌root

/sbin/nologin:/bin:bin:1:1❌bin

/sbin/nologin:/sbin:daemon:2:2❌daemon

/sbin/nologin:/var/adm:adm:4:3❌adm

例. 方法二

[root@tx3 ~]# awk ‘BEGIN { FS=“:” } { i=NF; while (i>=2) {printf $i “:”;i–} print $1}’ p1

/bin/bash:/root:root:0:0: x:root

/sbin/nologin:/bin:bin:1:1: x:bin

/sbin/nologin:/sbin:daemon:2:2: x:daemon

(4)for循环

语法：

{

for(表达式)

{动做1;…}

}

表达式：分为3部分：

(1)初始化表达式 i=1

(2)测试表达式 i<10

(3)更新测试表达式 i++

语句：

next 处理输入行的下一个输入行

exit 退出

continue 结束本次循环

break 跳出循环

例

[root@tx3 ~]# awk ‘BEGIN {FS=“:”} {for(i=NF;i>=2;i–) {printf $i “;”};print $1}’ p1

/bin/bash;/root;root;0;0;x;root

/sbin/nologin;/bin;bin;1;1;x;bin

/sbin/nologin;/sbin;daemon;2;2;x;daemon

/sbin/nologin;/var/adm;adm;4;3;x;adm

例

[root@tx3 ~]# cat num

2 8 9

8 4 6

3 5 7

[root@tx3 ~]# awk ‘{ max=0; i=1; while (i<=NF) { if (max<KaTeX parse error: Expected '}', got 'EOF' at end of input: i) {max=i} i++} print max}’ num

9

8

7

（5）awk数组

例

图片1.jpg

例 使用变量做为数组下标

图片2.jpg

另一种读取方式（这种是无序的，j是变量，a是数组）

图片3.jpg

数组有序

图片4.jpg

（6）函数

@1split 切割字符串

split(“等待被切割的字符串”,数组名,“切割用的分隔符”)

[root@tx3 ~]# awk ‘BEGIN{split(“2012/08/23”,da,“/”);print da[2],da[3],da[1]}’

08 23 2012

@2toupper() 小写转大写

tolower() 大写转小写

[root@tx3 ~]# awk ‘{print toupper($0)}’ p1 |head -3

ROOT:X:0:0:ROOT:/ROOT:/BIN/BASH

BIN:X:1:1:BIN:/BIN:/SBIN/NOLOGIN

DAEMON:X:2:2:DAEMON:/SBIN:/SBIN/NOLOGIN

@3sub() 局部替换

gsub() 全局替换

sub(/要替换的内容/,“替换成什么内容”)

gsub(/要替换的内容/,“替换成什么内容”)

gsub(/要替换的内容/,“替换成什么内容”,指定字段如$7)

例：

[root@tx3 ~]# awk -F: ‘{sub(/root/,“r00t”);print}’ p1

r00t: x:0:0:root:/root:/bin/bash

例：

[root@tx3 ~]# awk -F: ‘{gsub(/root/,“r00t”);print}’ p1

r00t: x:0:0:r00t:/r00t:/bin/bash

operator: x:11:0:operator:/r00t:/sbin/nologin

例：

[root@tx3 ~]# awk -F[: /] ‘{gsub(/root/,“r00t”,$7);print}’ p1

root x 0 0 root r00t bin bash

operator x 11 0 operator r00t sbin nologin

@4.length() 计算字符串的长度

[root@tx3 ~]# awk -F: ‘{print length($1),$1}’ p1

4 root

3 bin

6 daemon

3 adm

@5. 数学计算

[root@tx3 ~]# awk ‘BEGIN{print sin(30)}’

-0.988032

[root@tx3 ~]# awk ‘BEGIN{print cos(60)}’

-0.952413

[root@tx3 ~]# awk ‘BEGIN{print int(22/6)}’

3

[root@tx3 ~]# awk ‘BEGIN{print sqrt(3)}’

1.73205

《一夜飘零》
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
linux shell gsub,[Shell] awk sub,gsub
weixin_39732609的博客
05-13 346
sub 只替换每行的第一个匹配字符,或者指定域的第一个匹配字符gsub会替换当前行的所有匹配字符[/tmp/test]# more tt150 IT China 80010 ACCOUNTING LA 1...
shell awk从入门到精通
01-08
在本文中，我们将深入探讨`shell`中的`awk`命令，一个强大的文本分析工具，特别适用于处理Linux系统中的日志文件和数据处理。`awk`是基于模式扫描和处理的，它允许用户通过指定规则来对输入进行操作。下面我们将详细...
【shell】awk的next用法
weixin_33727510的博客
02-25 302
awk的next相当于循环中continue的作用，next后面的语句将不再执行。 例如,下面的例子中，包含数字3的那行的print语句没有被执行。 [root]$ seq 5 | awk '{print $0}' 1 2 3 4 5 [root]$ seq 5 | awk '/3/ {next} {print $0}' 1 2 4 5 通过next，可以省...
Shell——awk实现计算
martingpf的博客
09-03 1万+
    利用awk进行运算的效果也很好，适合小数和整数，特别是命令行的计算，尤其是小数，运算很精确，好用   [root@115 scripts]# echo "7.7 3.8"|awk '{print ($1-$2)}' 3.9   [root@115 scripts]# echo "3 9"|awk '{print ($1+3)*$2}' 54  ...
[Shell] awk sub,gsub
cizhiyou2391的博客
03-24 196
sub 只替换每行的第一个匹配字符,或者指定域的第一个匹配字符 gsub会替换当前行的所有匹配字符 [/tmp/test]# more tt1 50 IT ...
linux shell awk next,使用awk的next命令的方法
weixin_29649815的博客
05-13 155
在awk系列文章中，我们来看一下next 命令 ，它告诉 awk 跳过你所提供的所有剩下的模式和表达式，直接处理下一个输入行。next 命令帮助你阻止运行命令执行过程中多余的步骤。要明白它是如何工作的, 让我们来分析一下 food_list.txt 它看起来像这样：Food List ItemsNo Item_Name Price Quan...
shell工具之awk
01-09
shell工具之awk ​ 一个强大的文本分析工具，把文件逐行的读入，以空格为默认的分割符并将每行切片，切开的部分在进行分析处理。 1.基本用法 awk [选项参数] ‘pattern1 {action} pattern2 {action}…’ filename ...
shell awk实用实例教程
06-05
在IT领域，Shell和Awk是两种非常强大的命令行工具，尤其在文本处理和数据分析方面。本教程将深入探讨这两个工具的结合使用，提供一系列实用的实例，帮助你提升工作效率。 **Shell** 是Unix和Linux操作系统中的命令...
linux shell awk获得外部变量（变量传值）简介
09-15
在Linux Shell脚本中，`awk`是一种强大的文本分析工具，它可以用来处理和解析文本文件、日志等数据。在编写Shell脚本时，我们常常需要将外部变量传递给`awk`，以便在`awk`命令中使用这些变量。本文将详细介绍如何在`...
shell脚本awk按照某列排序输出
01-09
for i in `awk -F ‘[ |]’ ‘{print NR,$2}’ mscto.txt|sort -rn -k2|awk ‘{print $1}’`; do awk ‘NR==’$i’ {print}’ mscto.txt; done ———————————— 43 108|64 33 46|54 81 38|24 72 33|38 64 ...
shell之awk命令
qq_36864672的博客
02-04 846
Expression | getline [ Variable ]从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录，并将该记录的值指定给 Variable 参数指定的变量。sub( Ere, Repl, [ In ] )用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值。出现在 Repl 参数指定的字符串中的 &（和符号）由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换。
linux awk搜索文本最后个字符串,Shell文本处理三剑客之awk
weixin_39738115的博客
05-09 994
awk 是一个文本处理工具，通常用于处理数据并生成结果报告。其命名源于三位创始人姓氏首字母：Alfred Aho、Peter Weinberger、Brian Kernighan。语法：awk [options] 'BEGIN{} pattern {commands} END{}' filestdout | awk [options] 'BEGIN{} pattern {commands} END...
shell输出每一行的最后几个字符
每天进步一点点儿
12-20 7994
输出每一行的最后几个字符， 可以借助于awk，以及substr函数，awk没有分隔符时$0表示每一行 cat test.txt |awk '{print substr($0,length($0)-n)}' 其中的n表示字符长度，如果要输出每行最后10个字符，就把n改为10。 ...
关于shell编程（3）：awk中的sub和gsub
热门推荐
Leo的博客
08-07 1万+
sub和gsub的区别 awk '{sub(/aa/,"cc");print}' file 用cc替换aa awk '{sub(/aa/,"cc",$1); print}' file 第一个域内用cc替换aa 把上面sub换成gsub就表示在满足条件的域里面替换所有的字符。 比如如下文件内容： aa我们 aa我们 aaaa一起 aaaa一起 回家 aa回家 ...
linux shell awk next,awk系列：如何使用awk的‘next’命令
weixin_39956451的博客
05-13 100
在 awk 系列的第六节，我们来看一下next命令 ，它告诉 awk 跳过你所提供的所有剩下的模式和表达式，直接处理下一个输入行。next 命令帮助你阻止运行命令执行过程中多余的步骤。要明白它是如何工作的, 让我们来分析一下 food_list.txt 它看起来像这样：Food List ItemsNo Item_Name Price Qu...
Shell中的awk命令
作死罢了
02-17 562
1.awk–“样式扫描和处理语言” awk是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华。在linux系统日常处理工作中，发挥很重要的工作。 awk程序由一个主输入循环维持，主输入循环反复执行，直到条件被触发，主输入循环无须由程序员去写，awk已经搭好主输入循环的框架 2.awk模式匹配 任何awk语句都由模式（pattern）和动作（action）组成...
shell 中数学计算总结
03-12 605
shell中的赋值和操作默认都是字符串处理，在此记下shell中进行数学运算的几个特殊方法，以后用到的时候可以来看，呵呵。    1、错误方法举例    a)    var=1+1    echo $var    输出的结果是1+1，悲剧，呵呵        b)    var=1    var=$var+1    echo $var    输出结果是1+1，依然悲剧，呵呵
Shell脚本之AWK
weixin_67474417的博客
05-11 6601
一.AWK的介绍 1.1AWK的概述 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk 1.2AWK的工作原理 1.当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出 2.如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执...
shell awk 删除列
最新发布
07-28
要在awk中删除列，可以使用print语句来输出不包含指定列的行。以下是一个示例： ```shell awk '{ $2 = ""; print }' file.txt ``` 在这个例子中，我们使用awk命令来处理文件file.txt。通过将第二列设置为空字符串...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值