文本三剑客之awk命令

最新推荐文章于 2023-05-13 14:23:43 发布
最新推荐文章于 2023-05-13 14:23:43 发布
阅读量193 收藏
点赞数
分类专栏： Linux运维 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingdom_xu/article/details/108108769
版权

文章目录

1 文本处理三剑客之 awk

1.1 awk 工作原理和基本用法说明

有多种版本：

  • AWK
  • NAWK
  • GAWK
    gawk：模式扫描和处理语言，可实现下面功能：
  • 文本处理
  • 输出格式化的文本报表
  • 执行算术运算
  • 执行字符串操作

格式：

awk [options] 'program' var=value file...
awk [options] -f programfile var=value file...

说明：
program通常是放在单引号中，并可以由三种部分组成

  • BEGIN语句块
  • 模式匹配的通用语句块
  • END语句块

常见选项：

  • -F ”分隔符“指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符
  • -v var=value 变量赋值

Program格式：

pattern{action statements;...}

pattern：决定动作语句何时触发及触发事件，比如：BEGIN，END,正则表达式等
action statements：对数据进行处理，放在{}内指明，常见：print，printf

awk工作过程
在这里插入图片描述
第一步：执行BEGIN{action;… }语句块中的语句
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{action;…}语句块
BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

1.2 动作 print

格式：

print item1，item2，...

说明：

  • 逗号分隔符
  • 输出item可以是字符串，也可以是数值；当前记录的字段、变量或awk的表达式
  • 如省略item，相当于print $0
  • 固定字符需要""引起来，而变量和数字不需要
    范例：
   [root@centos8 ~]#awk    '{print "hello,awk"}' 
   [root@centos8 ~]#awk -F: '{print "wang"}' /etc/passwd
   [root@centos8 ~]#awk -F: '{print}' /etc/passwd 
   [root@centos8 ~]#awk -F: '{print $0}' /etc/passwd
   [root@centos8 ~]#awk -F: '{print $1,$3}' /etc/passwd
   [root@centos8 ~]#awk -F: '{print $1"\t"$3}' /etc/passwd
   [root@centos8 ~]#grep "^UUID" /etc/fstab |awk {'print $2,$3'} / xfs

1.3 awk变量

awk中的变量分为：内置变量和自定义变量

1.3.1 常见的内置变量

FS、OFS、RS、ORS、NF、NR、FNR、FILENAME、ARGC、ARGV

  • FS：输入字段分隔符，默认为空白字符，功能相当于-F
    范例：
awk -v FS=':'  '{print $1,FS,$3}' /etc/passwd 
awk -v FS=":" '{print $1FS$3}' /etc/passwd 
awk –F:   '{print $1,$3,$7}'   /etc/passwd  
S=:;awk -v FS=$S '{print $1FS$3}' /etc/passwd
[root@centos8 ~]#awk -v FS=":" '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2
[root@centos8 ~]#S=:;awk -F$S '{print $1,$3}' /etc/passwd|head -n3
root 0
bin 1
daemon 2
#-F 和 FS变量功能一样，同时使用会冲突
[root@centos8 ~]#awk -v FS=":" -F";" '{print $1FS$3}' /etc/passwd |head -n3
root:x:0:0:root:/root:/bin/bash;
bin:x:1:1:bin:/bin:/sbin/nologin;
daemon:x:2:2:daemon:/sbin:/sbin/nologin;
[root@centos8 ~]#awk -F";" -v FS=":" '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2
#-F 和 FS变量功能一样，同时使用会 -F 优先级高
[root@centos8 ~]#awk -v FS=":" -F";" '{print $1}' /etc/passwd |head -n3
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@centos8 ~]#awk -v FS=";" -F":" '{print $1}' /etc/passwd |head -n3
root
bin
daemon
  • OFS：输出字段分隔符，默认为空白字符
    范例：
[root@centos8 ~]#awk -v FS=':' '{print $1,$3,$7}' /etc/passwd|head -n1
root 0 /bin/bash
[root@centos8 ~]#awk -v FS=':' -v OFS=':' '{print $1,$3,$7}'
/etc/passwd|head -n1
root:0:/bin/bash
  • RS：输入记录record分隔符，指定输入时的换行符
    范例：
awk -v RS=' ' ‘{print }’ /etc/passwd
  • ORS：输出记录分隔符，输出时用指定符号代替换行符
    范例：
awk -v RS=' ' -v ORS='###' '{print $0}' /etc/passwd
  • NF：字段数量
    范例：
#引用变量时，变量前不需加$ 
[root@centos8 ~]#awk  -F：'{print NF}'   /etc/fstab
[root@centos8 ~]#awk  -F：'{print $(NF-1)}'  /etc/passwd
[root@centos8 ~]#ls /misc/cd/BaseOS/Packages/*.rpm |awk -F"." '{print $(NF1)}'|sort |uniq -c    3
   89 i686    
   208 noarch   
   1060 x86_64 
[root@centos8 ~]#ss -nt |grep "^ESTAB" | awk -F"[[:space:]]+|:" '{print $(NF2)}' 
   10.0.0.1 
   10.0.0.7 
   10.0.0.1 
[root@centos8 ~]#ss -nt |awk -F"[[:space:]]+|:" '/^ESTAB/{print $(NF-2)}'
  • NR：记录编号
    范例：
[root@centos8 ~]#awk '{print NR,$0}' /etc/issue /etc/centos-release
1 \S
2 Kernel \r on an \m
3
4 CentOS Linux release 8.1.1911 (Core)
#取ifconfig输出结果中的IP地址
[root@centos8 ~]#ifconfig eth0 | awk '/netmask/{print $2}'
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | awk 'NR==2{print $2}'
10.0.0.8

[root@centos8 ~]#awk -F: '{print NR}' /etc/passwd 
1 
2 
3 
....... 
[root@centos8 ~]#awk -F: 'END{print NR}' /etc/passwd 
57
[root@centos8 ~]#awk -F: 'BEGIN{print NR}' /etc/passwd 
0
  • FNR：各文件分别计数，记录号
    范例：
awk '{print FNR}'  /etc/fstab /etc/inittab
[root@centos8 ~]#awk  '{print NR,$0}' /etc/issue /etc/redhat-release 
1 \S 
2 Kernel \r on an \m 
3 
4 CentOS Linux release 8.0.1905 (Core) 
[root@centos8 script40]#awk  '{print FNR,$0}' /etc/issue /etc/redhat-release 
1 \S 
2 Kernel \r on an \m 
3 
1 CentOS Linux release 8.0.1905 (Core)
  • FILENAME：当前文件名
    范例：
[root@centos8 ~]#awk '{print FILENAME}' /etc/fstab 
[root@centos8 ~]# awk '{print FNR,FILENAME,$0}' /etc/issue /etc/redhat-release 
1 /etc/issue \S
2 /etc/issue Kernel \r on an \m
3 /etc/issue 
1 /etc/redhat-release CentOS Linux release 8.0.1905 (Core)
  • ARGC：命令行参数的个数
    范例：
[root@centos8 ~]# awk '{print ARGC}' /etc/issue /etc/redhat-release 
3
3
3
3
[15:25:29 root@centos8 ~]# awk 'BEGIN{print ARGC}' /etc/issue /etc/redhat-release 
3
  • ARGV：数组，保存的是命令行所给定的各参数,每一个参数：ARGV[0],…
    范例：
[root@centos8 ~]# awk 'BEGIN{print ARGV[0]}' /etc/issue /etc/redhat-release 
awk
[root@centos8 ~]# awk 'BEGIN{print ARGV[1]}' /etc/issue /etc/redhat-release 
/etc/issue
[root@centos8 ~]# awk 'BEGIN{print ARGV[2]}' /etc/issue /etc/redhat-release 
/etc/redhat-release
[root@centos8 ~]# awk 'BEGIN{print ARGV[3]}' /etc/issue /etc/redhat-release
1.3.2 自定义变量

自定义变量是区分字符大小写的，使用下面方式进行赋值：

  • -v var=value
  • 在program中直接定义
    范例：
[root@centos8 ~]#awk -v test1=test2="hello,gawk" 'BEGIN{print test1,test2}'
test2=hello,gawk

[root@centos8 ~]#awk -v test1=test2="hello1,gawk" 'BEGIN{test1=test2="hello2,gawk";print test1,test2}'
hello2,gawk hello2,gawk 

awk -v test='hello gawk' '{print test}' /etc/fstab
awk -v test='hello gawk' 'BEGIN{print test}'
awk 'BEGIN{test="hello,gawk";print test}'
awk -F: '{sex="male";print $1,sex,age;age=18}' /etc/passwd

cat awkscript
{print script,$1,$2}
awk -F: -f awkscript script="awk" /etc/passwd

1.4 动作 printf

printf可以实现格式化输出：
格式：

printf "FORMAT" , item1 , item2, ...

说明：

  • 必须指定FORMAT
  • 不会自动换行，需要显示给出换行控制符，\n
  • FORMAT中需要分别为后面每个item指定格式符
    格式符：与item——对应
%c：显示字符的ASCII码
%d,%i：显示十进制整数
%e,%E：显示科学计数法数值
%f：显示为浮点数
%g,%G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身

修饰符：

#[.#]  第一个数字控制显示的宽度；第二个#表示小数点后精度，如：%3.1f
-   左对齐（默认为右对齐） 如：%-15s
+  显示数值的正负符号  如：%+d

范例：

awk -F: '{printf "%s",$1}' /etc/passwd
awk -F: '{printf "%s\n",$1}' /etc/passwd
awk -F: '{printf "%20s\n",$1}' /etc/passwd
awk -F: '{printf "%-20s\n",$1}' /etc/passwd
awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
awk -F: '{printf "Username: %s\n",$1}' /etc/passwd
awk -F: '{printf “Username: %sUID:%d\n",$1,$3}' /etc/passwd
awk -F: '{printf "Username: %25sUID:%d\n",$1,$3}' /etc/passwd
awk -F: '{printf "Username: %-25sUID:%d\n",$1,$3}' /etc/passwd

1.5 操作符

算数操作符：

x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值

范例：

[root@centos8 ~]#awk 'BEGIN{i=0;print i++,i}'
0 1
[root@centos8 ~]#awk 'BEGIN{i=0;print ++i,i}'
1 1 		
[root@centos8 ~]#awk -v n=0 '!n++' /etc/passwd
root:x:0:0:root:/root:/bin/bash

[root@centos8 ~]#awk -v n=0 '!n++{print n}' /etc/passwd
1
[root@centos8 ~]#awk -v n=1 '!n++{print n}' /etc/passwd
[root@centos8 ~]#awk -v n=0 '!++n{print n}' /etc/passwd

[root@centos8 ~]#awk -v n=0 '!++n' /etc/passwd
[root@centos8 ~]#awk -v n=-1 '!++n' /etc/passwd
root:x:0:0:root:/root:/bin/bash

比较操作符：

==, !=, >, >=, <, <=

范例：

[root@centos8 ~]#awk 'NR==2' /etc/issue
Kernel \r on an \m

[root@centos8 ~]#awk -F: '$3>=1000' /etc/passwd
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
wang:x:1000:1000:wang:/home/wang:/bin/bash
mage:x:1001:1001::/home/mage:/bin/bash

范例：取奇，偶数行

[root@centos8 ~]#seq 10 | awk 'NR%2==0'
2
4
6
8
10
[root@centos8 ~]#seq 10 | awk 'NR%2==1'
1
3
5
7
9
[root@centos8 ~]#seq 10 | awk 'NR%2!=0'
1
3
5
7
9

模式匹配符：

~ 左边是否和右边匹配，包含关系
!~ 是否不匹配

范例：

[root@centos8 ~]#awk -F: '$0 ~ /root/{print $1}' /etc/passwd
[root@centos8 ~]#awk -F: '$0 ~ "^root"{print $1}' /etc/passwd
[root@centos8 ~]#awk '$0 !~ /root/' /etc/passwd
[root@centos8 ~]#awk '/root/' /etc/passwd
[root@centos8 ~]#awk -F: '$3==0' /etc/passwd
[root@centos8 ~]#df | awk -F"[[:space:]]+|%" '$0 ~ /^\/dev\/sd/{print $5}'
5
1
92
[root@centos8 ~]#ifconfig eth0 | awk 'NR==2{print $2}'
10.0.0.8

逻辑操作符：

与：&&，并且关系
或：||，或者关系
非：!，取反

范例：！取反

[root@centos8 ~]#awk 'BEGIN{print i}'
[root@centos8 ~]#awk 'BEGIN{print !i}'
1
[root@centos8 ~]#awk -v i=10 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i=-3 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i=0 'BEGIN{print !i}'
1
[root@centos8 ~]#awk -v i=abc 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i='' 'BEGIN{print !i}'
1 

awk -F: '$3>=0 && $3<=1000 {print $1,$3}' /etc/passwd
awk -F: '$3==0 || $3>=1000 {print $1,$3}' /etc/passwd
awk -F: '!($3==0) {print $1,$3}' /etc/passwd
awk -F: '!($3>=500) {print $1,$3}' /etc/passwd

条件表达式（三目表达式）

selector?if-true-expression:if-false-expression

范例：

awk -F: '{$3>=1000?usertype="Common User":usertype="SysUser";printf
"%-20s:%12s\n",$1,usertype}' /etc/passwd

1.6 模式匹配

PATTERN：根据pattern条件，过滤匹配的行，再做处理

  • 如果未指定：空模式，匹配每一行
    范例：
[root@centos8 ~]#awk -F: '{print $1,$3}' /etc/passwd
  • /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来
    范例：
[root@centos8 ~]#awk '/^UUID/{print $1}' /etc/fstab
[root@centos8 ~]#awk '!/^UUID/{print $1}' /etc/fstab
[root@centos8 ~]#df | awk '/^\/dev\/sd/'
/dev/sda2 104806400 4935924 99870476 5% /
/dev/sda3 52403200 398876 52004324 1% /data
/dev/sda1 999320 848572 81936 92% /boot
  • relational expression: 关系表达式，结果为“真”才会被处理
    真：结果为非0值，非空字符串
    假：结果为空字符串或0值
    范例：
[root@centos8 ~]#awk '1' /etc/passwd
[root@centos8 ~]#awk '!1' /etc/passwd
[root@centos8 ~]#awk '!0' /etc/passwd 

seq 10 | awk 'i=0'
seq 10 | awk 'i=1'
seq 10 | awk 'i=!i'
seq 10 | awk '{i=!i;print i}'
seq 10 | awk '!(i=!i)'
seq 10 | awk -v i=1 'i=!i'

[root@centos8 ~]#awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
mage /bin/bash

[root@centos8 ~]#awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
mage /bin/bash
  • line ranges：行范围
    不支持直接用行号，但可以使用变量NR间接指定行号
    /pat1/,/pat2/ 不支持直接给出数字格式
    范例：
[root@centos8 ~]#seq 10 | awk 'NR>=3 && NR<=6'
[root@centos8 ~]#awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd
[root@centos8 ~]#sed -n '3,6p' /etc/passwd
[root@centos8 ~]#awk '/^bin/,/^adm/' /etc/passwd
[root@centos8 ~]#sed -n '/^bin/,/^adm/p' /etc/passwd
  • BEGIN/END模式
    BEGIN{}：仅在开始处理文件中的文本之前执行一次
    END{}：仅在文本处理完成之后执行一次
    范例：
awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "END FILE"}'
/etc/passwd
awk -F: '{print "USER USERID";print $1":"$3} END{print "END FILE"}' /etc/passwd
awk -F: 'BEGIN{print "USER UID \n--------------- "}{print $1,$3}' /etc/passwd
awk -F: 'BEGIN{print "USER UID \n--------"}{print $1,$3}END{print
"=========="}' /etc/passwd

1.7 条件判断 if-else

语法：

if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2}else if(condition3)
{statement3}......else{statementN}

使用场景：对awk取得的整行或某个字段做条件判断
范例：

awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd
awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
awk '{if(NF>5) print $0}' /etc/fstab
awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or
Sysuser: %s\n",$1}}' /etc/passwd
awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or
Sysuser: %s\n",$1}' /etc/passwd

df -h|awk -F% '/^\/dev\/sd/{print $1}'| awk '$NF>=80{print $1,$5}'
df | awk -F"[[:space:]]+|%" '/^\/dev\/sd/{if($5>80)print $1,$5}'

[root@centos8 ~]#df | awk -F' +|%' '/^\/dev\/sd/{if($5>=10)print $1,$5}'
/dev/sda1 15

awk 'BEGIN{ test=100;if(test>90){print "very good"}
else if(test>60){ print "good"}else{print "no pass"}}'

1.8 条件判断 switch

语法：

switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or
/REGEXP2/: statement2; ...; default: statementn}

1.9 循环 while

语法：

while (condition) {statement;…}

条件“真”，进入循环；条件“假”，退出循环
使用场景：
对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用
示例：

#内置函数length()返回字符数，而非字节数
[root@centos8 ~]#awk 'BEGIN{print length("hello")}' 	
[root@centos8 ~]#awk 'BEGIN{print length("马哥教育")}'
[root@centos7 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print
$i,length($i); i++}}' /etc/grub2.cfg
[root@centos7 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF)
{if(length($i)>=10){print $i,length($i)}; i++}}' /etc/grub2.cfg
[root@centos8 ~]#awk 'BEGIN{ total=0;i=1;while(i<=100){total+=i;i++};print
total}'

1.10 循环 do-while

语法：

do {statement;…}while(condition)

意义：无论真假，至少执行一次循环体
do-while循环
语法：do {statement;…}while(condition)
意义：无论真假，至少执行一次循环体
范例：

[root@centos8 ~]#awk 'BEGIN{ total=0;i=1;do{ total+=i;i++;}while(i<=100);print
total}'
5050

1.11 循环 for

语法：

for(expr1;expr2;expr3) {statement;…}

常见用法：

for(variable assignment;condition;iteration process) {for-body}

特殊用法：能够遍历数组中的元素

for(var in array) {for-body}

范例:

[root@centos8 ~]#awk 'BEGIN{total=0;for(i=1;i<=100;i++){total+=i};print total}'
5050 
[root@centos7 ~]#awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print
$i,length($i)}}' /etc/grub2.cfg

性能比较

time (awk 'BEGIN{ total=0;for(i=0;i<=10000;i++){total+=i;};print total;}')
time (total=0;for i in {1..10000};do total=$(($total+i));done;echo $total)
time (for ((i=0;i<=10000;i++));do let total+=i;done;echo $total)
time (seq –s ”+” 10000|bc)

1.12 continue和break

continue 中断本次循环
break 中断整个循环
格式：

continue [n]
break [n]

范例：

[root@centos8 ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++)
{if(i%2==0)continue;sum+=i}print sum}'
2500
[root@centos8 ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++)
{if(i==50)break;sum+=i}print sum}'
1225

1.13 next

next 可以提前结束对本行处理而直接进入下一行处理(awk自身循环)
范例：

[root@centos8 ~]#awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

1.14 数组

awk的数组为关联数组
格式：

array_name[index-expression]

范例：

weekdays["mon"]="Monday"

index-expression

  • 利用数组，实现 k/v 功能
  • 可使用任意字符串；字符串要使用双引号括起来
  • 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
  • 若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历
    范例：
[root@centos8 ~]#awk
'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print
weekdays["mon"]}'
Monday 

awk '!line[$0]++' dupfile	#对文件去重
awk '{!line[$0]++;print $0, line[$0]}' dupfile

范例：

[root@centos8 ~]# awk 'BEGIN{array["i"]="x"; array["j"]="y" ; print "i" in
array, "y" in array }'
1 0
[root@centos8 ~]#awk 'BEGIN{array["i"]="x"; array["j"]="y" ;if ("i" in array )
{print "存在"}else{print "不存在"}}'
存在
[root@centos8 ~]#awk 'BEGIN{array["i"]="x"; array["j"]="y" ;if ("abc" in array )
{print "存在"}else{print "不存在"}}'
不存在

若要遍历数组中的每个元素，要使用for循环

for(var in array) {for-body}

注意：var会遍历array的每个索引
范例：遍历数组

[root@centos8 ~]#awk
'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays)
{print i,weekdays[i]}}'
tue Tuesday
mon Monday 
[root@centos8 ~]#awk -F: '{user[$1]=$3}END{for(i in user){print "username:
"i,"uid: "user[i]}}' /etc/passwd

范例：显示主机的连接状态出现的次数

[root@centos8 ~]#awk 'NR!=1{print $1}' ss.log |sort |uniq -c
[root@centos8 ~]#cat ss.log | sed -nr '1!s/^([^0-9]+) .*/\1/p'|sort |uniq -c
[root@centos8 ~]#ss -ant | awk 'NR!=1{state[$1]++}END{for(i in state){print
i,state[i]}}' 
[root@centos8 ~]#netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state)
{print i,state[i]}}'

范例：

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}'
/var/log/httpd/access_log
[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' access_log
|sort -nr| head -3
[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' access_log
|sort -k2 -nr|head -3

范例：封掉查看访问日志中连接次数超过1000次的IP

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){if(ip[i]>=1000)
{system("iptables -A INPUT -s "i" -j REJECT")}}}' nginx.access.log-20200428

范例：多维数组

[root@centos8 ~]#awk 'BEGIN{
> array[1][1]=11
> array[1][2]=12
> array[1][3]=13
> array[2][1]=21
> array[2][2]=22
> array[2][3]=23
> for (i in array)
> for (j in array[i])
> print array[i][j]
> }'
11
12
13
21
22
23

1.15 awk 函数

awk 的函数分为内置和自定义函数

1.15.1 常见内置函数
  • 数值处理：
rand()：返回0和1之间一个随机数
srand()：配合rand() 函数,生成随机数的种子
int()：返回整数

范例：

[root@centos8 ~]#awk 'BEGIN{srand();print rand()}'
[root@centos8 ~]#awk 'BEGIN{srand();print srand()}' 
[root@centos8 ~]#awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100)
}'
  • 字符串处理：
length([s])：返回指定字符串的长度
sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s
gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容
split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第一个索引值为1,第二个索引值为2,…

范例：

[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk 'sub(/:/,"-",$1)'
2008-08:08 08:08:08
[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk '{sub(/:/,"-",$1);print $0}'
2008-08:08 08:08:08 

[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk 'gsub(/:/,"-",$0)'
2008-08-08 08-08-08
[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk '{gsub(/:/,"-",$0);print $0}'
2008-08-08 08-08-08

范例：

[root@centos8 ~]#netstat -tn | awk
'/^tcp/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}'
  • 可以awk中调用shell命令
system('cmd')

空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用""引用起来

awk 'BEGIN{system("hostname")}'
awk 'BEGIN{score=100; system("echo your score is " score) }'

[root@centos8 ~]#netstat -tn | awk
'/^tcp/{split($5,ip,":");count[ip[1]]++}END{for(i in count){if(count[i]>=10)
{system("iptables -A INPUT -s "i" -j REJECT")}}}'
1.15.2 自定义函数

自定义函数格式：

function name ( parameter, parameter, ... ) {
   statements
   return expression
}

范例：

[root@centos8 ~]#cat func.awk
function max(x,y) {
x>y?var=x:var=y
return var
}
BEGIN{print max(a,b)}
[root@centos8 ~]#awk -v a=30 -v b=20 -f func.awk
30
1.3.16 awk 脚本

将awk程序写成脚本，直接调用或执行
范例：

[root@centos8 ~]#cat passwd.awk
{if($3>=1000)print $1,$3}
[root@centos8 ~]#awk -F: -f passwd.awk /etc/passwd
nobody 65534
wang 1000
mage 1001 

[root@centos8 ~]#cat test.awk
#!/bin/awk -f
#this is a awk script
{if($3>=1000)print $1,$3}
[root@centos8 ~]#chmod +x test.awk
[root@centos8 ~]#./test.awk -F: /etc/passwd
nobody 65534
wang 1000
mage 1001

向awk脚本传递参数
格式：

awkfile var=value var2=value2... Inputfile

注意：在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数
范例：

[root@centos8 ~]#cat test2.awk
#!/bin/awk -f
{if($3 >=min && $3<=max)print $1,$3}
[root@centos8 ~]#chmod +x test2.awk
[root@centos8 ~]#./test2.awk -F: min=100 max=200 /etc/passwd
systemd-resolve 193
rtkit 172
pulse 171
qemu 107
usbmuxd 113
abrt 173

范例: 检查出最近一小时内访问nginx服务次数超过3次的客户端IP

[root@VM_0_10_centos ~]# cat check_nginx_log.awk
#!/usr/bin/awk -f
BEGIN {
beg=strftime("%Y-%m-%dT%H:%M",systime()-3600) ;
#定义一个小时前的时间，并格式化日期格式
end=strftime( "%Y-%m-%dT%H:%M",systime()-60) ;
#定义结束时间
#print beg;
#print end;
}
$4 > beg && $4 < end {#定义取这个时间段内的日志
count[$12]+=1;#利用ip当做数组下标，次数当做数组内容
}
END {
for(i in count){#结束从数组取数据代表数组的下标，也就是ip
if(count[i]>3) { #如果次数大于3次，做操作
print count [i]" "i;
#system("iptables -I INPUT -S”i”j DROP" )
}
}
}
[root@VM_0_10_centos ~]# awk -F'"' -f check_nginx_log.awk
/apps/nginx/logs/access_json.log
kingdom_xu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 ...
AWK
Kasumi_yuki的博客
06-06 6197
一.AWK基本概念 1.基本用法 1.Centos中的文本处理工具 1）grep，egrep，fgrep：基于pattern（模式）的文本过滤工具 2）sed：流编辑器，行编辑器；通过模式空间，保持空间实现编辑 3）AWK：报告生成器，实现格式化文本输出 gawk - pattern scanning and processing language：基于模式扫描以及语言处理 1.AWK： Aho,...
awk -v
大叶子不小的博客
01-10 7306
-v一般是用来把shell环境里的变量传进awk，比如以下例子： #!/bin/bash SVAR="IAMSTRING" #输出结果应为IAMSTRING awk -vavar="$SVAR" 'BEGIN{print avar}'
Linux学习26-文本处理工具AWK
你的微笑像茉莉的博客
09-16 205
for循环 $for i in {1..100};do userdel -r user$i;done
Linux awk [-v] {print} 命令
最新发布
弘毅_hao的博客
05-13 2801
awk
awk练习题-v参数
weixin_30790841的博客
04-20 348
[xxxx.com]a=123bsas=sa2asd=a12ip=ip123[ooo.com]asd12=1223ip=ip123xas=123[xxoo.cn]asas=123sip=xs12213=2d2131d=213 条件参数： ip=？结果： 输出上面[]那一行示例：查ip=xs12 输出[xxoo.cn]查ip=ip123：输出[xxxx.com][ooo.com] 说明：每个[]行...
shell–awk（文本三剑客之一）
01-07
awk awk编程模型 正则表达式的扩展 awk Perl等还支持正则...3.以awk脚本的形式来执行awk命令 记录和域 1.域 $ +数字 2.$0所有域 3.$后跟表达式 4.tab被默认为连续的空格 5.-F 改变分隔符 以tab键为例 6.用+
linux三剑客常用命令.pdf
12-17
inux中的文本处理工具，grep、sed、awk,也称之为三剑客，熟练的使用，对文本内容搜索、编辑等任务能够提升效率。grep/egrep/fgrep:文本过滤工具；sed：流编辑器；awk：文本报告生成器 ，格式化文本，3个开发者的名字...
Linux文本处理命令：awk、sed、grep
07-06
awk、sed、grep是linux的三剑客，在文本处理的场景中，掌握这三个命令真的是很有用
跟老男孩学linux三剑客命令V1.5.rar
06-13
awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语 言的一些精华，如 C 语言等。在 linux 系统日常处理工作中，发挥很重要的作用，掌握了 awk 将会使你的工作变的高大上。awk 是三剑客...
awk命令
一别的博客
09-22 1015
1、简介 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具（行编译器）。 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 2、awk基础介绍 2.1 awk两种语法 // 语法 awk [options] 'command' {file_name} 2.2 常用参数 参数 注释 -F fs 指定输入文件拆分隔符，fs是一个字符串或者是一个正
awk -v 引用系统变量的问题
weixin_34038293的博客
08-15 1102
常会遇到，使用awk引用系统变量的问题，由于awk后的参数一般是包含在一对单引号内（例：awk '{print $NF}' filename) 这就直接导致引号内的变量是不会被解释出来的，而一种简单的方式是使用双引号来代替单引号： 如: arg=abc awk "/$arg/{print}" filename 这样$arg就可以正常解释，但这种方法也不是万能的。 lsdate=`da...
awk 命令的使用
weixin_47763101的博客
05-27 303
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。Awk作为一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 格式语法： #
2021-01-10
weixin_51887041的博客
01-10 100
#日常# awk的基础应用 概念：AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一 awk：它是一个数据处理工具，也是一个逐行扫描文件。 格式：awk [-F field-separator] ‘commands’ filename [-F field-separator]：这个选项如果是空文件则不必加，如果是像/etc/passwd文件则此文件各域以冒号作为分隔符，则必须指明-F选项，如：awk -F: 'commands’是要执行的命令动作 filena
[awk] 入门 1
贞正
11-13 491
1. awk调用linux shell命令 问题： mr生成1千多个part-*的文件，只有几个是不空的，如何把空文件删除？ [user@sonora awk]$ ls -l total 4 -rw-r--r-- 1 user users 0 Nov 13 10:22 emptyFile -rw-r--r-- 1 user users 6 Nov 13 10:22 hello [user@so
awk命令详解
你是遥远的星河
01-12 4290
awk 工作原理和基本用法说明 常见选项： -F “分隔符” 指明输入时用到的字段分隔符 -v var=value 变量赋值 动作：printf 说明： 逗号分隔符 输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式 如省略item，相当于print $0 范例： [root@I|158|~]#awk -F: '{print $1,$3}' /etc/passwd root ...
awk space sort sed
pardon110的博客
07-09 203
描述 将字段逆序输出文件nowcoder.txt的每一行，其中每一字段都是用英文冒号: 相分隔。 假设nowcoder.txt内容如下： 你的脚本应当输出
NoSQL数据库Redis--1
kingdom_xu的博客
10-25 6828
文章目录1 缓存技术1.1 缓存 cache1.1.1 buffer与cache1.1.2 缓存保存位置及分层结构1.1.3 cache 的特性1.2 用户层缓存1.2.1 DNS缓存1.2.2 火狐浏览器缓存1.2.3 前端技术 dns-prefetch1.2.4 浏览器缓存过期机制1.2.4.1 最后修改时间 last-modified1.2.4.2 Etag标记1.2.4.3 过期时间 expires1.2.4.3 混合使用和缓存刷新1.2.5 cookie 和 session1.3 CDN 缓存1.
linux文本三剑客
03-16
Linux文本三剑客指的是grep、sed和awk三个命令工具，它们都是在Linux系统中用于文本处理的强大工具。grep用于在文件中查找指定的字符串；sed用于对文本进行编辑和转换；awk用于对文本进行处理和分析。这三个命令工具...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值