gawk

awk

文本处理grep,sed,awk

字符串处理: 切片,查找替换,查找删除,变量赋值

grep 文本过滤器 分别有:egrep(等同grep -e),fgrep(最快,不支持正则表达式),grep

sed  流编辑器,(模式空间,保持空间)

awk 文本处理报告生成器 (Aho,Werinberger,Kernighan),以定义好的格式输出,在linux上为gawk,之前还有nawk

      数组:declare -a

      关联数组: declare -A

     

[root@localhost ~]# ls -l /usr/bin/awk 
lrwxrwxrwx. 1 root root 4 3月  28 20:26 /usr/bin/awk -> gawk

用法:

  gawk [ POSIX or GNU style options ] -f program-file [ -- ] file ...

  gawk [ POSIX or GNU style options ] [ -- ] program-text file ..

选项;

-F 分隔符,可以指定多个,默认空格

-v 自定义变量

[root@localhost ~]# awk -v a=b 'BEGIN{print a}'
b
[root@localhost ~]# awk  'BEGIN{a="b";print a}'
b

 

输出:

一. -print

   print item1,item2,...

1,各项目之间用逗号隔开,而输出以空白字符分隔,如果挨着写,则输出也是挨着,而且可以和print挨着;

[root@localhost ~]# cat awk.test 
This is a test
[root@localhost ~]# awk '{print $1,$2,$3,$4}' awk.test 
This is a test
[root@localhost ~]# awk '{print$1$2$3$4}' awk.test 
Thisisatest

 

2,指定分隔符号,在BEGIN模式指定,BEGIN后是花括号,圆括号算语法错误,分隔符号需要用双引号引起来,单引号算语法错误,

awk: cmd. line:1: BEGIN(OFS="#"){print $1,$2,$3,$4}
awk: cmd. line:1:      ^ syntax error
[root@localhost ~]# awk  'BEGIN{OFS="#"}{print $1,$2,$3,$4}' awk.test
This#is#a#test
[root@localhost ~]# awk  'BEGIN{OFS='#'}{print $1,$2,$3,$4}' awk.test
awk: cmd. line:2: BEGIN{OFS=#}{print $1,$2,$3,$4}
awk: cmd. line:2:           ^ syntax error

3,可以在输出显示条目之间加入一些其他的输出字符,被当做独立的item,需要用双引号引起来,例如:

[root@localhost ~]# awk  'BEGIN{OFS="#"}{print $1,$2,"TESTSTRING",$3,$4}' awk.test 
This#is#TESTSTRING#a#test

4,可以在输出的条目之间加入换行符,为多行输出:

[root@localhost ~]# awk 'BEGIN{print "line one\nline two\nline three"}'
line one
line two
line three

 

 

二,awk变量

awk内置变量之记录变量 (FS,OFS,RS,ORS,NR,NF )

FS:Field Separator 读取文件时使用的字段分隔符,默认是空白字符

     在BIEGIN'{}'中指定,或者在'{action}'外 -F 指定,如果要指定多个分隔符要用 [] 括起来,字符串还要用引号引起来,可以用正则表达式,当把FS指定为空时,awk会把一行中的每个字符当作一列来处理,awk会将连续的 空格 或 制表符(\t) 或 换行符(\n) 作为列的分隔符,如果只指定(默认)空格,则多个算空格算一个,如果指定多个分隔符,空白将计数。


[root@localhost ~]# echo '1,2,3' | awk -F , '{print $1}'
1
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS=","}{print $1}'
1
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS="[,]"}{print $1}'
1
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS="[',']"}{print $1}'
1

错误
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS=,}{print $1}'
awk: BEGIN{FS=,}{print $1}
awk:          ^ syntax error
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS=[,]}{print $1}'
awk: BEGIN{FS=[,]}{print $1}
awk:          ^ syntax error
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS='[,]'}{print $1}'
awk: BEGIN{FS=[,]}{print $1}
awk:          ^ syntax error
[root@localhost ~]# echo '1,2,3' | awk 'BEGIN{FS=[',']}{print $1}'
awk: BEGIN{FS=[,]}{print $1}
awk:          ^ syntax error [root@localhost
~]# echo '1,2,3' | awk 'BEGIN{FS=[","]}{print $1}' awk: BEGIN{FS=[","]}{print $1} awk: ^ syntax error

 

如果要同时指定多个分隔符,且空白开始计数

[root@localhost ~]# sed -n '13,14p' /etc/passwd
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F : '{print $5}' gopher FTP User [root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F "[: ]" '{print $5}' gopher FTP [root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F "[ :]" '{print $5}' gopher FTP [root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F '[ :]' '{print $5}' gopher FTP [root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F'[ :]' '{print $5}' gopher FTP [root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F' :' '{print $5}' [root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -F " :" '{print $5}'

 空白计数比较:

[root@localhost ~]# echo '1,2,3 4  5' | awk 'BEGIN{FS="[ ,]"}{print $3}'
3
[root@localhost ~]# echo '1,2,3 4  5' | awk 'BEGIN{FS="[ ,]"}{print $4}'
4
[root@localhost ~]# echo '1,2,3 4  5' | awk 'BEGIN{FS="[ ,]"}{print $5}'

[root@localhost ~]# echo '1,2,3 4  5' | awk 'BEGIN{FS="[ ,]"}{print $6}'
5
[root@localhost ~]# echo '1,2,3 4  5   6' | awk -v OFS="|" 'BEGIN{FS="[    ,]"}{print $1,$2,$3,$4,$5,$6,$7,$8,$9}'
1|2|3|4||5|||6
[root@localhost ~]# echo '1 2 3 4  5   6' | awk -v OFS="|" 'BEGIN{FS=" "}{print $1,$2,$3,$4,$5,$6}'
1|2|3|4|5|6
[root@localhost ~]# echo '1 2 3 4  5   6' | awk -v OFS="|" '{print $1,$2,$3,$4,$5,$6}'
1|2|3|4|5|6

其他:

echo '1ab2bc3cd4de5' | awk 'BEGIN{FS="[a-z]+"}{print $1,$2,$5}'
1 2 5

 

 

OFS:Output Field Separator 输出分隔符

[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v OFS=" " -F "[ :]" '{print $5,$NF}' 
gopher /sbin/nologin
FTP /sbin/nologin
[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v OFS="" -F "[ :]" '{print $5,$NF}' 
gopher/sbin/nologin
FTP/sbin/nologin
[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v OFS="++" -F "[ :]" '{print $5,$NF}' 
gopher++/sbin/nologin
FTP++/sbin/nologin

   如果输出字段之间没有分隔,即print的各字段没有逗号,则在之前OSF定义的输出分隔符不起作用

[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v OFS="++++" -F "[ :]" '{print $5$NF}' 
gopher/sbin/nologin
FTP/sbin/nologin
[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v OFS="++++" -F "[ :]" '{print $5,$NF}' 
gopher++++/sbin/nologin
FTP++++/sbin/nologin

RS:Record Separator 读取文件时使用的行分隔符,默认换行符为\n,可以指定一个正则表达式为读取换行符

     RT是利用RS匹配出来的内容,如果RS是固定某个值时,RT就是RS的内容

     当RS指定为空时,awk会先自动以多行空格为行分割符号,如果没有空行,就以读取到的所有内容中的空白为分割符

    

ORS:Output Row Separator 输出换行符,print之间的字段是否有逗号分隔不影响输出换行符的定义和作用

      可以把ORS理解成RS的反过程

[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v ORS="\n" -F "[ :]" '{print $5,$NF}' 
gopher /sbin/nologin
FTP /sbin/nologin
[root@localhost ~]# sed -n '13,14p' /etc/passwd|awk -v ORS="++" -F "[ :]" '{print $5,$NF}' 
gopher /sbin/nologin++FTP /sbin/nologin++[root@localhost ~]# 
[root@localhost ~]# 

 

awk内置变量之数据变量

NR:Number of input Records ,awk命令所处理的记录数,如果有多个文件,这个数目会把所处理的多个文件统一进行计数

NF:Number of Field 当前记录的field个数,总数,即容易理解$NF则表示最后一个字段

[root@localhost ~]# awk '{print NF}' awk.test 
4

 

FNR:与NR不同的是,FNR用于记录正在处理的行是当前这一文件中被处理的行数(如有两个100行的文件,处理到第二各文件的第20行,NR=120,FNR=20)

[root@localhost ~]# awk '{print NR}' /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@localhost ~]# awk '{print FNR}' /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
1
2
3

 

ARGV:数组,保存命令行本身这个字符串,如awk '{print $0}' awk.test 这条命令中,AVGV[0] 保存awk,AVGV[1] 保存 awk.test

ARGC:awk命令行的参数个数

FILENAME:awk命令所处理的文件的名称

ENVIRON:当前shell环境变量及其值的关联数组:如

[root@localhost ~]# awk 'BEGIN{print ENVIRON["PATH"]}'
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

 

用户自定义变量(2种方式)

gawk允许用户自定义变量以便在代码中用到,变量名命名规则和大多数的编程语言相同,只能用字母,数字,和下划线,且不能以数字开头,gawk变量名称区分字符大小写

a.在脚本中给变量赋值使用赋值语句进行:如

[root@localhost ~]# awk 'BEGIN{var="variable testing";print var}'
variable testing

b,也可以用-v 定义变量,且在awk中,变量不需要加$,在awk中$的意义是字段,在加BEGIN只执行一次,在{}的action中,语句和语句要使用分号隔开

[root@localhost ~]# awk -v var="varialbe testing" 'BEGIN{print var}'
varialbe testing

 

三,printf的使用

 printf 命令格式: printf format item1,item2...

1,与print命令最大的不同是,printf需要指定格式

2,format用于指定后面每一个item的输出格式

3,printf不会自动打印换行符\n

format格式都以%开头(只针对变量格式化

例如:观察其中输出冒号的位置!

[root@localhost ~]# awk -F: '{$3>=500?usertype="commom user":usertype="Administrator or System user";printf "%15-s %-s \n",$1":",usertype}' /etc/passwd|tail -5
apache:         Administrator or System user 
pulse:          Administrator or System user 
sshd:           Administrator or System user 
tcpdump:        Administrator or System user 
Gandefeng:      commom user 

   如果冒号加在格式中:

[root@localhost ~]# awk -F: '{$3>=500?usertype="commom user":usertype="Administrator or System user";printf "%15-s  :  %-s \n",$1,usertype}' /etc/passwd|tail -5
apache           :  Administrator or System user 
pulse            :  Administrator or System user 
sshd             :  Administrator or System user 
tcpdump          :  Administrator or System user 
Gandefeng        :  commom user 

 

%c 显示字符的ASSII码

%d ,%i 十进制整数(%+d 表示显示数值符号)

%e ,%E 科学记数法显示数值

%f 显示浮点数

%g,%G 以科学计数法的格式或浮点数的格式显示数值

%s 显示字符串(%-s 左对齐,默认又对其)

%u 无符号的整数

%% 显示百分号自身

修饰符

N 显示宽度

-  左对齐(默认右对齐)

+ 显示数值符号

 

四 awk的操作符

算数操作符

-x 负值

+x 转换为数值

x^y 次方

x**y 次方

x/y 除

x+y 

x-y

x%y

赋值操作符

=

+=

-=

*=

/=

%=

^=

**=

++

 --

需要注意的是 如果某模式为=号 此时使用/*/ 肯能出现语法错误,应以/[=]/ 替代

 

布尔值

awk中,任何非0值或非空字符串都为真,反之就为假比较操作符

x < y    True if x is less than y

x <= y  True if x is less or equel to y

x  > y   True if x is greater than y

x > = y True if x is greater or equel to y

x == y  True if x is equel to y

x !=y    True if x is not equel to y

x ~ y    True if the string x matches the regexp denoted by y

x !~y   True if the string x does not match the regexp denoted by y

表达式间的逻辑关系符

&&

||

条件表达式

selector?if-true-exp:if-false-exp

函数调用

function_name (paral1,para2)

 

awk 常用模式

1 正则表达式  /regexp/ 

例如:显示以G开头的用户名

[root@localhost ~]# awk -F : '/^G/ {print $1}' /etc/passwd
Gandefeng

2 表达式,其值为非0或非空字符串时满足条件

例如:显示使用bash的用户

[root@localhost ~]# awk -F : '$7~"bash$" {print $1,$7}' /etc/passwd
root /bin/bash
Gandefeng /bin/bash

例如;显示不为nologin的,格式输出

[root@localhost ~]# awk -F : '$7!~"nologin$" {printf "%-30s%-20s\n",$1,$7}' /etc/passwd
root                          /bin/bash           
sync                          /bin/sync           
shutdown                      /sbin/shutdown      
halt                          /sbin/halt          
Gandefeng                     /bin/bash  

3 匹配范围

例如:从第一个以uid为0开头的行到第一个以sync结尾的行

[root@localhost ~]# awk -F : '$3==0,$7~"sync" {printf "%-30s%-20s\n",$1,$7}' /etc/passwd
root                          /bin/bash           
bin                           /sbin/nologin       
daemon                        /sbin/nologin       
adm                           /sbin/nologin       
lp                            /sbin/nologin       
sync                          /bin/sync      

4 BEGIN/END模式,仅在awk的开头前运行一次和命令结束前最后一行处理完之后运行一次

例如:在上面实例基础上加首行

[root@localhost ~]# awk -F : 'BEGIN{printf"%-10s%-10s%-20s\n","name","uid","shell"}$3==0,$7~"sync"{printf "%-10s%-10s%-20s\n",$1,$3,$7}END{print "end"}' /etc/passwd
name      uid       shell               
root      0         /bin/bash           
bin       1         /sbin/nologin       
daemon    2         /sbin/nologin       
adm       3         /sbin/nologin       
lp        4         /sbin/nologin       
sync      5         /bin/sync           
end

5 空模式 文件的每一行都要做处理

 

 

和尾行,同时匹配,注意需要BEGIN需要在匹配的前面

 

6 行限制范围

[root@localhost ~]# awk -F : '(NR>=1&&NR<=3){print $1}' /etc/passwd
root
bin
daemon

 startline和endline默认匹配最大范围

[root@localhost ~]# awk -F : '/^r/,/^s/{print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
rpc
vcsa
rtkit
abrt
avahi-autoipd
saslauth
rpcuser
nfsnobody
haldaemon
gdm
ntp
apache
pulse
sshd

 

 

 

常用的action

1 expression

2 control statements

3 compound statements

4 input statements

5 output statements

 

五 控制语句

1 if-else

if (condition) {then-body} else {[else-body]}

例如:判断管理员

awk -F : '{if($1=="root")print $1,"admin";else print $1,"common user"}' /etc/passwd

       格式化输出

 awk -F : '{if($1=="root")printf "%-15s:%s\n",$1,"admin";else printf "%-15s:%s\n",$1,"common user"}' /etc/passwd

      统计uid大于500的用户

[root@localhost ~]# awk -F : -v sum=0 '{if($3>=500) sum++}END{print sum}' /etc/passwd
13

 

2 while

while (condition){statement1;statement2;...}

例:显示每一行字符串长度大于等于4的字段

awk -F : '{i=1;while(i<=NF) {if (length($i)>=4) {print $i};i++}}' /etc/passwd

 

3 do-while

do {statement1,statement2,...} while (condition)

awk -F : '{i=1;do {print $1,i++}while(i<=3)}' /etc/passwd

 

4 for

for ( variable assignment; condition; iteration process) {statement1,statement2...}

例:循环3次显示$1 遵循C语言风格

awk -F : '{for (i=1;i<=3;i++) print $1}' /etc/passwd

for 还可以遍历数组元素

例:遍历所有字段显示大于4的字段

awk -F : '{for (i=1;i<=NF;i++) {if (length($i)>=4) {print $i}}}' /etc/passwd

 

5 case

swith (expression) { case value or /regexp/: statement1,statement2,... default: statement1,....}

 

6 break和contiune 用于循环或case语句中的终止或继续

7 next 提前结束本行文本的处理,并接着处理下一行

 例:显示ID为奇数的用户

awk -F : '{if($3%2==0) next;print $1,$3}' /etc/passwd

 

七 数组

awk数组的下标从1开始,也可自己定义,可以使用任意字符串作为下标

例:统计各shell出现次数

[root@localhost ~]# awk -F : '{shell [$NF]++}END{for(A in shell){print A,shell[A]}}' /etc/passwd
/bin/sync 1
/bin/bash 2
/sbin/nologin 38
/sbin/halt 1
/sbin/shutdown 1

例:统计网络状态

root@localhost ~]# netstat -tan|awk '/^tcp/{state[$NF]++}END{for (A in state) print A,state[A]}'
LISTEN 9
ESTABLISHED 2

例:统计日志文件IP地址的访问量

[root@localhost ~]# awk '{counts[$1]++};end {for (url in counts) print counts[url],url}' /var/log/httpd/access_log

 例:9x9乘法表

[root@localhost ~]# seq 9|sed 'H;g'|awk -v RS='' '{for(i=1;i<=NF;i++){printf"%dx%d=%d%s",i,NR,i*NR,i==NR?"\n":"\t"}}'

 

转载于:https://www.cnblogs.com/gandefeng/p/6917020.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值