文本处理之awk高级进阶

最新推荐文章于 2024-05-18 15:24:52 发布
最新推荐文章于 2024-05-18 15:24:52 发布
阅读量274 收藏
点赞数
分类专栏： linux之文本处理三剑客 文章标签： awk linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38419276/article/details/116421109
版权

数组

awk的数组为关联数组

格式

array_name[index-expression]

范例:

weekdays["mond"]="Monday"

index-expression

利用数组，实现 k/v 功能
可使用任意字符串；字符串要使用双引号括起来
如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历

范例：

[root@longwang ~]# awk 'BEGIN{weekdays["mond"]="Mondaya";weekdays["tues"]="Tuesday";print weekdays["mond"]}'
Mondaya
[root@longwang ~]# awk '!line[$0]++' /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Fri Sep  4 21:10:02 2020
# Accessible filesystems, by reference, are maintained under '/dev/disk/'.
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
# After editing this file, run 'systemctl daemon-reload' to update systemd
# units generated from this file.
/dev/mapper/cl-root     /                       xfs     defaults        0 0
UUID=232316f3-6dff-487a-9fae-af211542097b /boot                   ext4    defaults        1 2
/dev/mapper/cl-data     /data                   xfs     defaults        0 0
/dev/mapper/cl-swap     swap                    swap    defaults        0 0
[root@longwang ~]# awk '{print !line[$0]++,$0,line[$0]}' /etc/fstab 
1  1
1 # 1
1 # /etc/fstab 1
1 # Created by anaconda on Fri Sep  4 21:10:02 2020 1
0 # 2
1 # Accessible filesystems, by reference, are maintained under '/dev/disk/'. 1
1 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info. 1
0 # 3
1 # After editing this file, run 'systemctl daemon-reload' to update systemd 1
1 # units generated from this file. 1
0 # 4
1 /dev/mapper/cl-root     /                       xfs     defaults        0 0 1
1 UUID=232316f3-6dff-487a-9fae-af211542097b /boot                   ext4    defaults        1 2 1
1 /dev/mapper/cl-data     /data                   xfs     defaults        0 0 1
1 /dev/mapper/cl-swap     swap                    swap    defaults        0 0 1
[root@longwang ~]# awk '{!line[$0]++;print $0,line[$0]}' /etc/fstab 
 1
# 1
# /etc/fstab 1
# Created by anaconda on Fri Sep  4 21:10:02 2020 1
# 2
# Accessible filesystems, by reference, are maintained under '/dev/disk/'. 1
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info. 1
# 3
# After editing this file, run 'systemctl daemon-reload' to update systemd 1
# units generated from this file. 1
# 4
/dev/mapper/cl-root     /                       xfs     defaults        0 0 1
UUID=232316f3-6dff-487a-9fae-af211542097b /boot                   ext4    defaults        1 2 1
/dev/mapper/cl-data     /data                   xfs     defaults        0 0 1
/dev/mapper/cl-swap     swap                    swap    defaults        0 0 1

范例：判断数组索引是否存在

[root@longwang ~]# awk 'BEGIN{arr["i"]="x";arr["j"]="y";print "x" in arr, "y" in arr}'
1 0
[root@longwang ~]# awk 'BEGIN{arr["i"]="x";arr["j"]="y"; if("i" in arr){print "存在"}else{print "不存在"}}'
存在
[root@longwang ~]# awk 'BEGIN{arr["i"]="x";arr["j"]="y"; if("abc" in arr){print "存在"}else{print "不存在"}}'
不存在

若要遍历数组中的每个元素，要使用 for 循环

for(var in array) {for-body}

注意：var会遍历array的每个索引

范例：遍历数组

[root@longwang ~]# awk 'BEGIN{weekd["mond"]="Monday";weekd["tues"]="Tuesday";for(i in weekd){print i,weekd[i]}}'
tues Tuesday
mond Monday

[root@longwang ~]# awk 'BEGIN{stude[1]="yuwang";stude[2]="kaige";stude[3]="lisi";for(x in stude){print x":"stude[x]}}'
1:yuzwang
2:kaige
3:lisi
[root@longwang ~]# awk 'BEGIN{a["x"]="welcome";a["y"]="to";a["z"]="tiantang";for(i in a){print i,a[i]}}'
x welcome
y to
z tiantang
[root@longwang ~]# awk -F: '{user[$1]=$3}END{for(i in user){print "username:"i,"uid: "user[i]}}' /etc/passwd
username:longe uid: 1002
username:longwang uid: 1001
username:www uid: 1008
username:sshd uid: 74
username:systemd-resolve uid: 193
username:shutdown uid: 6
username:bin uid: 1
username:saslauth uid: 995
username:tss uid: 59
username:mail uid: 8
username:halt uid: 7
username:adm uid: 3

范例：显示主机的连接状态出现的次数

[root@longwang ~]# awk 'NR!=1{print $1}' access_log | sort| uniq -c |sort -nr| head -n3
   45 172.10.116.32
   34 172.20.16.21
   28 172.22.2.222

[root@iZwz98 ~]# ss -tan | awk 'NR!=1{state[$1]++}END{for(i in state){print i,state[i]}}'
LISTEN 3
ESTAB 2
TIME-WAIT 1
[root@iZwz98 ~]# netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state){print i,state[i]}}'
LISTEN 3
ESTABLISHED 2

范例：

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}'
/var/log/httpd/access_log
172.32.0.200 1500
172.23.21.121 6
172.50.60.71 49
172.10.121.209 815

[root@longwang ~]# awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' access_log | sort -nr | head -n
345 172.52.28.25
34 172.26.151.33
8 172.8.2.222

范例：封掉查看访问日志中连接次数超过1000次的IP

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){if(ip[i]>=1000)
{system("iptables -A INPUT -s "i" -j REJECT")}}}' nginx.access.log-20210424

范例：多维数组

[root@longwang ~]# awk 'BEGIN{
> arr[1][1]=11
> arr[1][2]=12
> arr[1][3]=13
> arr[2][1]=21
> arr[2][2]=22
> arr[2][3]=23
> for (i in arr)
>   for (j in arr[i])
>      print arr[i][j]
> }'
11
12
13
21
22
23

awk 函数

awk 的函数分为内置和自定义函数

官方文档

https://www.gnu.org/software/gawk/manual/gawk.html#Functions
常见内置函数

数值处理：

rand()：返回0和1之间一个随机数
srand()：配合rand() 函数,生成随机数的种子
int()：返回整数

范例：

[root@longwang ~]# awk 'BEGIN{srand()print rand()}'
awk: cmd. line:1: BEGIN{srand()print rand()}
awk: cmd. line:1:              ^ syntax error
[root@longwang ~]# awk 'BEGIN{srand();print rand()}'
0.40168
[root@longwang ~]# awk 'BEGIN{srand();print rand()}'
0.0469583
[root@longwang ~]# awk 'BEGIN{srand();print rand()}'
0.994006

[root@longwang ~]# awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100)}'
72
45
82
98
52
81
75
23
84
66

字符串处理：

length([s])：返回指定字符串的长度
sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s
gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容
split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第
一个索引值为1,第二个索引值为2,…

范例: 统计用户名的长度

[root@longwang ~]# cut -d: -f1 /etc/passwd | awk '{print length()}'
4
3
6
3
2
4
8
4
4
8
5
3
6
4
16
15
[root@longwang ~]# awk -F: '{print length($1)}' /etc/fstab 
0
1
12
38
1
74
76
1
74
33
1
75
93
75
75

范例：

[root@longwang ~]# echo "2020:08:08 08:08:08" | awk 'sub(/:/,"-",$1)'
2021-04:08 08:08:08
[root@longwang ~]# echo "2020:08:08 08:08:08" | awk '{sub(/:/,"-",$1);print $0}'
2021-04:08 08:08:08

范例

[root@longwang ~]# echo "2021:04:08 08:08:08" | awk 'gsub(/:/,"-",$0)'
2021-04-08 08-08-08
[root@longwang ~]# echo "2021:04:08 08:08:08" | awk '{gsub(/:/,"-",$0)print $0}'
awk: cmd. line:1: {gsub(/:/,"-",$0)print $0}
awk: cmd. line:1:                  ^ syntax error
[root@longwang ~]# echo "2021:04:08 08:08:08" | awk '{gsub(/:/,"-",$0);print $0}'
2021-04-08 08-08-08

范例：

[root@centos8 ~]#netstat -tn | awk
'/^tcp/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}'
10.0.0.1 1
10.0.0.6 1
10.0.0.7 673

可以awk中调用shell命令

system('cmd')

空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说
除了awk的变量外其他一律用""引用起来

[root@longwang ~]# awk 'BEGIN{system("hostname")}'
longwang.local

[root@longwang ~]# awk 'BEGIN{score=100; system("echo your score is " score)}'
your score is 100
[root@centos8 ~]#netstat -tn | awk
'/^tcp/{split($5,ip,":");count[ip[1]]++}END{for(i in count){if(count[i]>=10)
{system("iptables -A INPUT -s "i" -j REJECT")}}}'

时间函数

官方文档: 时间函数

https://www.gnu.org/software/gawk/manual/gawk.html#Time-Functions

systime() 当前时间到1970年1月1日的秒数
strftime() 指定时间格式

范例:

[root@longwang ~]# awk 'BEGIN{print systime()}'
1619259442
[root@longwang ~]# awk 'BEGIN{print strftime("%Y-%m-%dT%H:%M",systime()-3600)}'
2021-04-24T17:18

自定义函数

自定义函数格式：

function name ( parameter, parameter, ... ) {
statements
return expression
}

范例：

[root@centos8 ~]#cat func.awk
function max(x,y) {
x>y?var=x:var=y
return var
}
BEGIN{print max(a,b)}
[root@centos8 ~]#awk -v a=30 -v b=20 -f func.awk
30

awk 脚本

将awk程序写成脚本，直接调用或执行

范例：

[root@centos8 ~]#cat passwd.awk
{if($3>=1000)print $1,$3}
[root@centos8 ~]#awk -F: -f passwd.awk /etc/passwd
nobody 65534
wang 1000
long 1001

范例：

[root@centos8 ~]#cat test.awk
#!/bin/awk -f
#this is a awk script
{if($3>=1000)print $1,$3}
[root@centos8 ~]#chmod +x test.awk
[root@centos8 ~]#./test.awk -F: /etc/passwd
nobody 65534
wang 1000
long 1001

向awk脚本传递参数

格式：

awkfile var=value var2=value2... Inputfile

注意：在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行

BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数

范例：

[root@longwang ~]# cat test2.awk 
#!/bin/awk -f
{if($3 >=min && $3 <=max)print $1,$3}

[root@longwang ~]# chmod +x test2.awk 
[root@longwang ~]# ./test2.awk -F: min=100 max=200 /etc/passwd
systemd-resolve 193

范例: 检查出最近一小时内访问nginx服务次数超过3次的客户端IP

[root@longwang ~]# vim check_nginx_log.awk
#!/usr/bin/awk -f
BEGIN{
    #定义一个小时前的时间，并格式化日期格式    
    beg=strftime("%Y-%m-%dT%H:%M",systime()-3600);
    # 定义结束时间
    end=strftime("%Y-%m-%dT%H:%M",systime()-60);
}       
   # 定义取这个时间段内的日志
$> beg && $4 < end{
   # 利用ip当做数组下标，次数当做数组内容
   count[$12]+=1;
}       
END{
   # 结束从数组取数据代表数组的下标，也就是ip
   for(i in count){
       # 如果次数大于3次，做操作
       if(count[i]>3){
           print count[i]" "i;
       }                
   }    
} 

[root@longwang ~]# awk -F'"' -f check_nginx_log.awk /apps/nginx/logs/acces.log
LK丶旋律
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux脚本awk,如何在awk脚本中使用shell变量？
weixin_34502439的博客
04-30 1122
获取shell变量awk可以通过几种方式完成。有些人比其他人好。这应该涵盖大部分内容。如果您有评论，请在下面留言。使用-v(最好的方式，最便携)使用-v选项:( PS后使用空格-v或不太便携。例如，awk -v var=不是awk -vvar=)variable="lineone\nlinetwo"awk-vvar="$variable"'BEGIN{printvar}'line...
shell入门学习笔记-15-命令详解: 三剑客之一awk-分支语句、数组
韩超的博客 (hanchao5272)
03-25 586
系列目录与参考文献传送门: shell入门学习笔记-序章 awk分支控制 if admindeMacBook-Pro:~ admin$ seq 5 |awk '{if($0%2) print $0}' 1 3 5 admindeMacBook-Pro:~ admin$ seq 5 |awk '{if($0%2) print $0; else print "--"}' 1 -- 3 -- 5 adm...
shell入门学习笔记-15-命令详解: 三剑客之一awk-内置变量、运算符
韩超的博客 (hanchao5272)
03-25 814
系列目录与参考文献传送门: shell入门学习笔记-序章 awk内置变量 变量名 速记 描述 FS File Separator 输入字段分隔符，默认是空格或制表符 OFS Output File Separator 输出字段分隔符，默认是空格 RS Row Separator 输入记录分隔符，默认是换行符\n ORS Output Row Separator 输出记录...
linux02-awk总结
weixin_38942791的博客
03-01 1111
awk整理 awk编程模型 awk由主输入循环维持，主输入循环反复执行，知道终止条件被触发，循环处理文本行。下图为awk编程模型的示意图（从书上找到） awk模式匹配 调用方式1： awk ‘/模式/ 动作’ 文件 举例： [root@localhostjiaoben]# awk '/^$/ {print "this is a blank line "}' demo.tx...
linux awk入门,Linux基础之三剑客AWK基础篇
weixin_42138525的博客
05-14 548
awk介绍AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一这种编程及数据操作语言(其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母)的最大功能取决于一个人所拥有的知识AWK(Aho、Weinberger、Kernighan) ，报告生成器，简单的来说就是打报表，格式化文本输出它具备了一个完整的语言所应具有的几乎所有精美特...
awk中使用循环
weixin_43226231的博客
12-23 416
awk脚本有三个主要部分：BEGIN 和 END 函数（都可选），用户自己写的每次要执行的函数。某种程度上，awk 的主体部分就是一个循环，因为函数中的命令对每一条记录都会执行一次。然而，有时你希望对于一条记录执行多次命令，那么你就需要用到循环。 来学习一下多次执行同一条命令的不同类型的循环。 awk脚本有三个主要部分：BEGIN 和 END 函数（都可选），用户自己写的每次要执行的函数...
awk BEGIN、END 很明白也很明了
senlin1202的博客
06-19 4711
使用awk统计 在Linux下进行文本处理，没什么比sed/AWK更强大了。于是乎直接想到了用awk将报告中的”PASS”，”FAIL”数目统计一下即可。 代码示例如下： 1 2 3 4 5 PASS数目: grep -o ".*tests executed in" reportName | awk 'BEGIN{sum=0}{if($1 ~ /PASS/)sum+=$2}END{print sum}' FAIL数目： grep -o ".*tests execut
awk linux 数组,Linux中的awk数组的基本使用方法
weixin_33859931的博客
05-16 597
1.awk数组描述在其他的编程语言中，数组的下标都是从0开始的，也就是说，如果想反向引用数组中 的第一个元素，则需要引用对应的下标[0]，在awk中数组也是通过引用下标的方法，但是在awk中数组的下标是从1开始的，在其他语言中，你可能会习惯于先“声明”一个数组，在awk中，则不用这样，直接为数组的元素赋值即可(其实如果自己给数组赋值，下标从1或者从0开始那就无所谓了！)2.在声明数组时，可能值很多...
Shell文本处理工具–awk
12-21
awk 用法： awk　-F 分隔符 BEGIN{}{}END{}　FILENAME　默认以空格为分隔符 BEGIN和END可以忽略不写。 NR #显示行数 NF #列数 以冒号为分隔符，每一行的列数。 以bash结尾的行的列数。 打印出以bash结尾的行。...
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 ...
linux文本处理工具awk命令详解
10-28
linux文本处理工具awk命令详解，超详细的讲解awk命令，更多实战案例
Linux四剑客之awk高级应用.doc
06-29
创造者：Aho Wwinberger Kernighan 基于模式匹配检查输入文本，逐行处理并输出，通常用在shell中，获取指定的数据，单独使用时，可对文本数据做统计。
shell浅谈之七文本处理工具grep、sed、awk.docx
11-23
Bash Shell提供了功能强大的文件处理工具：sed（流编辑器stream editor）和awk，都可使用正则表达式进行模式匹配。而grep又有助于理解sed和awk。
shell-awk的BEGIN和END
qq_46480020的博客
11-13 3435
文章目录一、Awk 的两个特殊模式实例：二、Awk高级应用1. if单分支语句2. if双分支语句3. for循环4. while循环 SHELL—— awk两个特殊模式（BEGIN 和 END）及awk高级应用（条件判断、循环） 一、Awk 的两个特殊模式 BEGIN 和 END，BEGIN 被放置在没有读取任何数据之前 END 被放置在所有的数据读取完成以后执行 体现如下： BEGIN{}: 读入第一行文本之前执行的语句，一般用来初始化操作 {}: 逐行处理 END{}: 处理完最后以行文本后执行
Linux脚本攻略学习笔记之awk简单语法和BEGIN、END实例演示
热门推荐
whandgdh的博客
12-24 2万+
1、最简单的action 既没有pattern 有没有options2、awk是逐行处理的。2.1、输出整行2.2、输出最后一列2.3、输出倒数第二列2.4、输出共有多少列2.5、输出多列2.6、添加自定义字段3、 pattern3.1begin 简单语法3.2不添加输入文件3.3begin +pattern 演示 awk是一种编程语言，其名称得自于它的创始人 Alfred Aho 、Peter...
Linux常用基本命令：三剑客命令之-awk数组用法
Morning_G的博客
05-17 2661
AWK的数组用法跟javascript类似。 1，定义数组 awk 'BEGIN{a[0]="zhangsan";a[1]="lisi";print a[0]}' 2，打印一个没有定义的数组项，值为空 awk 'BEGIN{a[0]="zhangsan";a[1]="lisi";print a[2]}' 3，判断一个数组项 是否存在，用 ( 下标 in 数组 ) root$ awk 'BEGI...
awk学习笔记
maxxujun的专栏
08-10 246
awk学习笔记 2013-01-08 17:44 1315人阅读 评论(0) 收藏 举报 目录(?)[+] Awk是什么 Awk、sed与grep，俗称Linux下的三剑客，它们之间有很多相似点，但是同样也各有各的特色，相似的地方是它们都可以匹配文本，其中sed和awk还可以用于文本编辑，而grep则不具备这个功用。sed是一种非交互式且面向字符
使用 awk for循环 和 数组 实现 去重功能：（sort 、uniq、tr 功能）
郑泽林
03-11 1614
文章目录   这个是我自己写的 全部关于 awk学习的目录导航 ，感兴趣的可以看看。             本章直接使用 awk 中的for循环 和 数组 实现 去重 and 统计 功能！         在学习之前，先来看一个知识点： 首先，我们将 变量a的值设为1，进行加法计算...
Shell之三剑客awk命令
最新发布
2402_83805984的博客
05-18 609
在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。1.awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号。分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。先获取top命令的CPU空闲率，再通过计算得到CPU使用率。先执行BEGIN模式中指定的动作。2.BEGIN中的命令只执行依次。再执行END模式中指定的动作。while循环操作方法。
linux高级进阶命令
08-08
Linux高级进阶命令有很多，以下是一些常用的： 1. `find`：用于在文件系统中搜索文件和目录。 2. `grep`：用于在文件中搜索指定的模式。 3. `sed`：用于对文本进行流式编辑。 4. `awk`：用于处理和分析文本文件。 5. `rsync`：用于远程或本地文件同步。 6. `tar`：用于打包和解压缩文件。 7. `ssh`：用于通过安全的Shell连接远程主机。 8. `scp`：用于在本地主机和远程主机之间传输文件。 9. `cron`：用于定时执行任务。 10. `iptables`：用于配置Linux防火墙规则。 这只是一小部分高级命令，Linux还有很多其他强大的工具和命令可以进一步提升你的操作和管理能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值