awk介绍 --z

最新推荐文章于 2023-12-17 18:09:23 发布
最新推荐文章于 2023-12-17 18:09:23 发布
阅读量683 收藏
点赞数
分类专栏： Linux学习 文章标签： file 正则表达式 input cmd 脚本 newline
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skly01/article/details/6686049
版权

AWK介绍

0.awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。

1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。

2.三种方式调用awk

1) awk [opion] 'awk_script' input_file1 [input_file2 ...]

awk的常用选项option有；

① -F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，awk使用环境变量IFS的值

② -f filename : 从文件filename中读取awk_script

③ -v var=value : 为awk_script设置变量

2) 将awk_script放入脚本文件并以 #!/bin/awk -f 作为首行，给予该脚本可执行权限，然后在shell下通过键入该脚本的脚本名调用之。

3) 将所有的awk_script插入一个单独脚本文件，然后调用: awk -f awk脚本文件 input_file(s)

3. awk的运行过程

1) awk_script的组成:

① awk_script可以由一条或多条awk_cmd组成，两条awk_cmd之间一般以NEWLINE分隔

② awk_cmd由两部分组成: awk_pattern { actions }

③ awk_script可以被分成多行书写，必须确保整个awk_script被单引号括起来。

2) awk命令的一般形式:

awk ' BEGIN { actions }

awk_pattern1 { actions }

............

awk_patternN { actions }

END { actions }

' inputfile

其中 BEGIN { actions } 和 END { actions } 是可选的。

3) awk的运行过程:

① 如果BEGIN 区块存在，awk执行它指定的actions。

② awk从输入文件中读取一行，称为一条输入记录。(如果输入文件省略，将从标准输入读取)

③ awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量IFS或由参数指定。

④ 把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。

⑤ 当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤③和④，这个过程一直持续，直到awk读取到文件尾。

⑥ 当awk读完所有的输入行后，如果存在END，就执行相应的actions。

4) iput_file可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。

5) 一条awk_cmd的awk_pattern可以省略，省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions 也可以省略，省略时默认的动作为打印当前输入记录(print $0) 。一条awk_cmd中的awk_pattern和actions不能同时省略。

6) BEGIN区块和END区块别位于awk_script的开头和结尾。awk_script中只有END区块或者只有BEGIN区块是被允许的。如果awk_script中只有BEGIN { actions } ，awk不会读取input_file。

7) awk把输入文件的数据读入内存，然后操作内存中的输入数据副本，awk不会修改输入文件的内容。

8) awk的总是输出到标准输出，如果想让awk输出到文件，可以使用重定向。

4.awk_pattern

awk_pattern模式部分决定actions动作部分何时触发及触发actions。awk_pattern可以是以下几种类型:

1) 正则表达式用作awk_pattern: /regexp/

① awk中正则表达式匹配操作中经常用到的字符:

\ ^ $ . [] | () * // 通用的regexp元字符

+ : 匹配其前的单个字符一次以上，是awk自有的元字符，不适用于grep或sed等

? : 匹配其前的单个字符1次或0次，是awk自有的元字符，不适用于grep或sed等

② 举例:

awk '/ *\$0\.[0-9][0-9].*/' input_file

2) 布尔表达式用作awk_pattern，表达式成立时，触发相应的actions执行。

① 表达式中可以使用变量(如字段变量$1,$2等)和/regexp/

② 布尔表达式中的操作符:

关系操作符: < > <= >= == !=

匹配操作符: value ~ /regexp/ 如果value匹配/regexp/，则返回真

value !~ /regexp/ 如果value不匹配/regexp/，则返回真

举例: awk '$2 > 10 {print "ok"}' input_file

awk '$3 ~ /^d/ {print "ok"}' input_file

③ &&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式，构成混合表达式。!(非) 可以用于布尔表达式或者/regexp/之前。

举例: awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_file

awk '/^d/ || /x$/ {print "ok"}' input_file

④ 其它表达式用作awk_script，如赋值表达式等

eg: awk '(tot+=$6); END{print "total points :" tot }' input_file // 分号不能省略

awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file // 与上面等效

awk 用法例举：

变量名 含义

ARGC 命令行变元个数

ARGV 命令行变元数组

FILENAME 当前输入文件名

FNR 当前文件中的记录号

FS 输入域分隔符，默认为一个空格

RS 输入记录分隔符

NF 当前记录里域个数

NR 到目前为止记录数

OFS 输出域分隔符

ORS 输出记录分隔符

1、awk '/101/' file 显示文件file中包含101的匹配行。

awk '/101/,/105/' file

awk '$1 == 5' file

awk '$1 == "CT"' file 注意必须带双引号

awk '$1 * $2 >100 ' file

awk '$2 >5 && $2<=15' file

2、awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号、域数和每一行的第一个和最后一个域。

awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第二个域加10。

awk '/101/ {print $1$2}' file

awk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域，但显示时域中间没有分隔符。

3、df | awk '$4>1000000 ' 通过管道符获得输入，如：显示第4个域满足条件的行。

4、awk -F "|" '{print $1}' file 按照新的分隔符“|”进行操作。

awk 'BEGIN { FS="[: \t|]" }

{print $1,$2,$3}' file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。

Sep="|"

awk -F $Sep '{print $1}' file 按照环境变量Sep的值做为分隔符。

awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。

awk -F '[][]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]

5、awk -f awkfile file 通过文件awkfile的内容依次进行控制。

cat awkfile

/101/{print "\047 Hello! \047"} --遇到匹配行以后打印 ' Hello! '.\047代表单引号。

{print $1,$2} --因为没有模式控制，打印每一行的前两个域。

6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行（记录）。

7、awk 'BEGIN { OFS="%"}

{print $1,$2}' file 通过设置输出分隔符（OFS="%"）修改输出格式。

8、awk 'BEGIN { max=100 ;print "max=" max} BEGIN 表示在处理任意行之前进行的操作。

{max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。

（表达式1?表达式2:表达式3 相当于：

if (表达式1)

表达式2

else

表达式3

awk '{print ($1>4 ? "high "$1: "low "$1)}' file

9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行（记录）。

10、awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行（记录）。

awk '{$7 %= 3; print $7}' file 将第7域被3除，并将余数赋给第7域再打印。

11、awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。

12、awk '/tom/ {count++;}

END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。

13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;

END {print "The total is $" cost>"filename"}' file gsub函数用空串替换$和,再将结果输出到filename中。

1 2 3 $1,200.00

1 2 3 $2,300.00

1 2 3 $4,000.00

awk '{gsub(/\$/,"");gsub(/,/,"");

if ($4>1000&&$4<2000) c1+=$4;

else if ($4>2000&&$4<3000) c2+=$4;

else if ($4>3000&&$4<4000) c3+=$4;

else c4+=$4; }

END {printf "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file

通过if和else if完成条件语句

awk '{gsub(/\$/,"");gsub(/,/,"");

if ($4>3000&&$4<4000) exit;

else c4+=$4; }

END {printf "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file

通过exit在某条件时退出，但是仍执行END操作。

awk '{gsub(/\$/,"");gsub(/,/,"");

if ($4>3000) next;

else c4+=$4; }

END {printf "c4=[%d]\n",c4}"' file

通过next在某条件时跳过该行，对下一行执行操作。


14、awk '{ print FILENAME,$0 }' file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中，格式为

打印文件并前置文件名。

15、awk ' $1!=previous { close(previous); previous=$1 }

{print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。

16、awk 'BEGIN {"date"|getline d; print d}' 通过管道把date的执行结果送给getline，并赋给变量d，然后打印。

17、awk 'BEGIN {system("echo "Input your name:\\c""); getline d;print "\nYour name is",d,"\b!\n"}'

通过getline命令交互输入name，并显示出来。

awk 'BEGIN {FS=":"; while(getline< "/etc/passwd" >0) { if($1~"050[0-9]_") print $1}}'

打印/etc/passwd文件中用户名包含050x_的用户名。

18、awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。

awk '{ for(i=1;i<NF;i++) {print NF,$i}}' file 通过for语句实现循环。

type file|awk -F "/" '

{ for(i=1;i<NF;i++)

{ if(i==NF-1) { printf "%s",$i }

else { printf "%s/",$i } }}' 显示一个文件的全路径。

用for和if显示日期

awk 'BEGIN {

for(j=1;j<=12;j++)

{ flag=0;

printf "\n%d月份\n",j;

for(i=1;i<=31;i++)

{

if (j==2&&i>28) flag=1;

if ((j==4||j==6||j==9||j==11)&&i>30) flag=1;

if (flag==0) {printf "%02d%02d ",j,i}

}

}

}'

19、在awk中调用系统变量必须用单引号，如果是双引号，则表示字符串

Flag=abcd

awk '{print '$Flag'}' 结果为abcd

awk '{print "$Flag"}' 结果为$Flag


http://apps.hi.baidu.com/share/detail/6533091

skly01
关注
专栏目录
awk－sed高级练习题pdf
11-10
### awk & sed 高级练习题解析 #### sed 命令详解 1. **删除一个文件的每行中的第1个字符** ```shell sed 's/^.//g' /etc/passwd ``` - **解析**：`s/^.//g` 表示将每行开头（`^`）的第一个字符（`.`）替换为...
awk大全
weixin_33875564的博客
12-11 158
AWK介绍0.awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。2.三种方式调用awk1) awk [opion] 'awk_script' input_file1 [input_file2 ....
【shell】shell字符串分割|文件分割
小鱼菜鸟的博客
10-08 4357
目录 一、字符串分割 1、awk分割 2、利用shell 中 变量 的字符串替换成空格分割 3、设置分隔符，通过 IFS 变量 4、利用tr 指令实现字符替换 二、文件分割 附录 【转】linux下awk内置函数的使用(split/substr/length) 四、gsub函数 五、正则表达式 一、字符串分割 1、awk分割...
linux awk命令NR详解,awk命令之NR和FNR变量用法详解
weixin_39607935的博客
04-28 1万+
0、说明刚好用到awk的NR和FNR这两个内建变量。经过一些测试大概熟悉其用法，这里记录下(本文只是用NR和FNR变量来判断当前读入的是第一个还是第二个文件，好对每个文件分别运行指定的脚本。需要注意的是只有读入的文件数小于或等于2个的时候才能使用NR和FNR来判断当前读入的是第几个文件，超过2个文件将无法判断)1、NR和FNR的作用演示NR和FNR都可以为awk读入的文件每行数据增加显示行号。不同...
Linux-文本处理工具awk
阿文的博客
09-19 816
文章目录过滤ip一、awk简介二、awk的两种形式语法格式awk工作原理区别： 字段分隔符: FS OFS 默认空格或制表符 记录分隔符: RS ORS 默认换行符[root@yang ~]# awk 'BEGIN{RS=":"} {print $0}' passwd1 |grep -v '^$' > passwd2 #过滤上面文本 行首 行尾所有的字符date |awk '{pri...
【linuxshell实战案例】awk截取字符串中的部分内容
最新发布
qq_35902025的博客
12-17 2632
awk截取字符串中的部分内容，本质上截取的方法也按列截取该字段的1-5列，只不过一列只有一个字符，看到列数据的提取我们想到用awk，awk可以解决大部分提取列数据的问题
awk使用大全
07-30
/[A-Za-z]+/{print "Thisisastring"} /^$/{print "Thisisablankline."} ``` 上述脚本会分别识别整数、字符串和空白行，并输出相应的消息。 #### 二、awk程序设计模型 awk的程序设计模型围绕主输入循环展开，其中...
linux-用来启动停止springboot应用的脚步
08-13
PID=$(cat /path/to/startup.log | grep 'Started Application in' | awk '{print $NF}') if [ -z "$PID" ]; then echo "Application is not running." else echo "Stopping the application with PID: $PID" ...
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
sed&awk;手册
02-28
`y`命令用于字符转换，例如，`y/abc/xyz/`会将所有"a"转为"x"，"b"转为"y"，"c"转为"z"。 **打印行号** `-n`选项结合`p`命令可以打印行号，如`sed -n 'N; s/\n/ /p'`会在每行后加上行号。 **读和写文件** `sed`...
awk内置substr（）截取字段
HwangChen的博客
02-16 1989
给出一个字符串，让你截取其中的某个部分如何用awk实现？比如 123456789 3333344这样两个数字串，现在要截取第一个数字串的56，以及第二个数字串的44echo "123456789 3333344" | awk '{print substr($1,5,2)}'$1指的是第一列，也就是123456789 5指的是从第5个字符开始 2指的是截取2个字符同理，截取44echo "1234
awk 用法（使用入门）
weixin_34293141的博客
10-30 522
awk用法：awk'pattern{action}'变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号FS输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数OF...
awk用法小结
liujinwei2005的专栏
05-21 592
from：http://www.xiaojb.com/archives/it/awk.shtml awk 用法：awk ‘ pattern {action} ‘ 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR
使用awk命令获取文本的某一行，某一列
热门推荐
aywb1314的博客
08-18 11万+
1、打印文件的第一列(域)                 ： awk '{print $1}' filename 2、打印文件的前两列(域)                 ： awk '{print $1,$2}' filename 3、打印完第一列，然后打印第二列  ： awk '{print $1 $2}' filename 4、打印文本文件的总行数                ：
应急响应笔记(Linux）
daxi0ng的博客
10-21 1757
A、日志分析 1、除root之外，是否还有其它特权用户(uid 为0)awk -F: '$3==0{print $1}' /etc/passwd 2、可以远程登录的帐号信息 awk '/\$1|\$6/{print $1}' /etc/shadow 3、查看登录失败信息 grep -o "Failed password" /var/log/secure|uniq -c 4、...
Linux awk命令详解
汪敏的博客
02-03 4270
awk '{print "第一列："$1,"第二列："$2}' ** * . txt。
awk命令 使用方法汇总
matteo_FH的博客
04-12 566
关于shell 命令 awk的用法汇总
AWK简单教程
ppby2002的专栏
05-21 625
<br />一、AWK简介<br />         AWK名字来源于三位创造者Aho、Weinberger和Kernighan统称。<br />         AWK擅长处理文本数据 。<br /><br /> 二、AWK的调用方式<br />         awk [-Ffs] [-v var=value] [program | -f progfile ...] [file ...]<br /><br />         1、命令行方式<br />         例如：<br
以下shell脚本是什么意思，转成python是什么样的。 if [ 1 -eq $# ] && [ "-V" == "$1" -o "-v" == "$1" ] ; then echo "TU version is:$TU_VERSION" exit 0 fi line_temp=$(cat /root/SLOT_SN.txt | head -1 | awk -F ";" '{print $1}' | grep "-") if [ -n "$line_temp" ] ; then flag=1 fi while read line_temp do if [ "$line_temp" = "" ] ; then continue fi SLOT_INFO[$num]=$(echo $line_temp | awk -F ";" '{print $1}' | tr A-Z a-z | tr -d ":") if [ $flag = 1 ] ; then LINK_ID[$num]=$(echo $line_temp | awk -F ":" '{print $2}' | awk -F ";" '{print $1}' | awk -F "-" '{print $1}' | sed 's/^0*//g') LINK_ID[$num]=$((LINK_ID[$num]+0)) SLOT_ID[$num]=$(echo $line_temp | awk -F ":" '{print $2}' | awk -F ";" '{print $1}' | awk -F "-" '{print $2}' | sed 's/^0*//g') SLOT_ID[$num]=$((SLOT_ID[$num]+0)) else SLOT_ID[$num]=$(echo $line_temp | awk -F ":" '{print $2}' | awk -F ";" '{print $1}' | sed 's/^0*//g') SLOT_ID[$num]=$((SLOT_ID[$num]+0)) fi #获取UUT_SN UUT_SN[$num]=$(echo $line_temp | awk -F ":" '{print $3}' | awk -F ";" '{print $1}') ((num++)) done </root/SLOT_SN.txt
05-26
这个shell脚本的主要作用是从/root/SLOT_SN.txt文件中读取数据，将其解析并存储到相应的数组中。 转成python代码可能会像这样： ```python import os if len(sys.argv) == 2 and (sys.argv[1] == "-V" or sys....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值