总结：三剑客之awk

最新推荐文章于 2024-07-29 16:22:18 发布
最新推荐文章于 2024-07-29 16:22:18 发布
阅读量479 收藏
点赞数
分类专栏： 笔记 文章标签： linux centos 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wauzy/article/details/106418432
版权
本文详细介绍了awk命令的使用，包括其基本语法`awk [options] 'program' file`，变量如FS、OFS、NR等，以及BEGIN/END模式、条件表达式、循环和数组的运用。awk通过模式匹配处理文本，常用于数据分析，如df利用率计算、access_log IP统计和passwd文件操作。同时，文中也提到了如何调用shell命令和编写awk脚本。
摘要由CSDN通过智能技术生成

能够打印报表
有多种版本：New awk（nawk），GNU awk（ gawk）

[root@centos7 ~]#ll `which awk`
lrwxrwxrwx. 1 root root 4 Mar 29 12:06 /usr/bin/awk -> gawk  #系统安装gawk
awk [options] ‘program’ file

  1. options（参数）：

    1.1. -F “分隔符” 指明输入时用到的字段分隔符（不写默认空白符为分隔符）
    1.2. -v var=value 变量赋值

  2. program（程序）：pattern{action statements;…}，通常放在单引号中
    2.1. pattern：BEGIN（打印表头）,END（实现统计）
    awk [options] ‘BEGIN{action;… }pattern{action;… }END{action;… }’ file
    2.2. action：print，printf

分隔符：

  1. awk执行时，由分隔符分隔的字段（域）标记$1,$2…$n称为域标识。$0为所有域，注意：此时和shell中变量$符含义不同
  2. 文件的每一行称为记录
  3. 省略action，则默认执行 print $0 的操作
[root@centos7 ~]#awk '{print $1}' /etc/fstab
####options（-F）没有，默认以空白符为分隔符（不分多少），打印第一段
#
#
#
#
#
#
#
UUID=b640a874-b15b-41d1-acc3-eb2a4e85ac9e
[root@centos7 ~]#awk '{print hello}' /etc/fstab




#####/etc/fstab有多少行打印多少行hello，跟/etc/fstab内容没有关系
[root@centos7 ~]#awk '{print "hello"}' /etc/fstab
hello
hello
hello
hello
#####字符串时需加双引号，否则会识别成变量，数字可以不加双引号
[root@centos7 ~]#awk '{print 100*20}' /etc/fstab
2000
2000
2000
2000
2000
[root@centos7 ~]#awk 'BEGIN{print 100*20}'   #打印第一行（表头）
2000
[root@centos7 ~]#awk 'BEGIN{print hello}'    #引号区别

[root@centos7 ~]#awk 'BEGIN{print "hello"}'
hello
[root@centos7 ~]#awk 'BEGIN{print "number"}{print 100*20}'/etc/fstab    #打印表头
number
2000
2000
2000
[root@centos7 ~]#awk 'BEGIN{print "number"}{print 100*20}END{print "end"}' /etc/fstab    #打印表头表尾
number
2000
2000
2000
end
df取利用率
[root@centos7 ~]#df |tr -s " "|cut -d" " -f5 |cut -d% -f1 |sort -nr |head -n1
8
[root@centos7 ~]#df |tr -s " " %|cut -d% -f5 |sort -nr |head -n1
8
[root@centos7 ~]#df |egrep -o '[0-9]+%' |grep -o '[0-9]' |sort -nr|head -n1
8
[root@centos7 ~]#df |sed -rn 's/.*([0-9]+)%.*/\1/p' |sort -nr |head -n1
8
[root@centos7 ~]#df |awk '{print $5}'|cut -d% -f1 |sort -nr |head -n1
8
[root@centos7 ~]#df |awk '{print $5}' |awk -F% '{print $1}' |sort -nr |head -n1
8
[root@centos7 ~]#df |awk -F " +|%" '{print $5}'|sort -nr |head -n1
8
access_log取最多IP
[root@localhost ~]#cat access_log |head -n1
172.18.118.91 - - [20/May/2018:08:09:59 +0800] "GET / HTTP/1.1" 200 912 "-" "Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 5.1; Trident/5.0)"
[root@localhost ~]#awk '{print $1}' access_log |sort |uniq -c |sort -nr |head -n3
   4870 172.20.116.228
   3429 172.20.116.208
   2834 172.20.0.222
[root@localhost ~]#awk -F "[[ ]" '{print $5}' access_log  |head -n2
20/May/2018:08:09:59
20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" '{print $1,$5}' access_log  |head -n2    $1,$5不填写时默认空格隔开，填写其他隔开符需加双引号
172.18.118.91 20/May/2018:08:09:59
172.18.118.91 20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" '{print $1"++"$5}' access_log  |head -n2
172.18.118.91++20/May/2018:08:09:59
172.18.118.91++20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" '{print $1"--"$5}' access_log  |head -n2
172.18.118.91--20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" '{print $1"\t"$5}' access_log  |head -n2   #\t（tab键）分隔符，能自动对齐
172.18.118.91	20/May/2018:08:09:59
172.18.118.91	20/May/2018:08:09:59
passwd
[root@localhost ~]#awk -F: '{print $1}' /etc/passwd |head -n2
root
bin
###取最后一列
[root@localhost ~]#awk -F: '{print $7}' /etc/passwd |head -n2   #知道每行多少列且列数一样
/bin/bash
/sbin/nologin
[root@localhost ~]#cat /etc/passwd |rev |awk -F: '{print $1}' |rev |head -n2    
/bin/bash
/sbin/nologin
[root@localhost ~]#awk -F: '{print $NF}' /etc/passwd |head -n2  #不知道列数，引用变量
/bin/bash
/sbin/nologin
变量

变量：内置和自定义变量
-v 变量

FS（输入字段分隔符，默认为空白字符）
[root@localhost ~]#awk -F: '{print $1,$3}' /etc/passwd |head -n2
root 0
bin 1
[root@localhost ~]#awk -v FS=":" '{print $1,$3}' /etc/passwd |head -n2   #与前面效果一样，但当输出分隔符为变量时方便
root 0
bin 1
[root@localhost ~]#awk -v FS=":" '{print $1FS$3}' /etc/passwd |head -n2   #引用变量为分隔符
root:0
bin:1
[root@localhost ~]#awk -v FS=":" '{print $1":"$3}' /etc/passwd |head -n2
root:0
bin:1
[root@localhost ~]#fs=:;awk -v FS=$fs '{print $1FS$3}' /etc/passwd |head -n2
root:0
bin:1
OFS（输出字段分隔符，默认为空白字符）
[root@localhost ~]#awk -F "[[ ]" '{print $1,$5}' access_log  |head -n1
172.18.118.91 20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" -v OFS=: '{print $1,$5}' access_log  |head -n1
172.18.118.91:20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" -v OFS=++ '{print $1,$5}' access_log  |head -n1
172.18.118.91++20/May/2018:08:09:59
[root@localhost ~]#awk -F "[[ ]" -v OFS=-- '{print $1,$5}' access_log  |head -n1
172.18.118.91--20/May/2018:08:09:59
RS（输入记录分隔符，指定输入时的换行符）

默认记录符为换行符，以记录符之间内容为一行

[root@localhost ~]#cat awk.txt 
a,b,c
d;e,f
ggg;hhhh;xxx
yyy
[root@localhost ~]#awk -F, -v RS=";" '{print $1}' awk.txt 
a
e
hhhh
xxx
yyy
[root@localhost ~]#awk -F, -v RS=";" '{print $3}' awk.txt 
c
d
ORS（：输出记录分隔符，输出时用指定符号代替换行符）
[root@localhost ~]#awk -F: -v ORS=" " '{print $1,$3}' /etc/passwd 
root 0 bin 1 daemon 2 adm 3 lp 4 sync 5 shutdown 6 halt 7 mail 8 operator 11 games 12 ftp 14 nobody 99 systemd-network 192 dbus 81 polkitd 999 sssd 998 libstoragemgmt 997 colord 996 rpc 32 gluster 995 saslauth 994 abrt 173 setroubleshoot 993 rtkit 172 radvd 75 chrony 992 qemu 107 unbound 991 ntp 38 tss 59 usbmuxd 113 geoclue 990 pulse 171 gdm 42 saned 989 rpcuser 29 nfsnobody 65534 gnome-initial-setup 988 sshd 74 avahi 70 postfix 89 tcpdump 72 wang 1000 apache 48 mandriva 1005 slackware 2002 [root@localhost ~]#
NF（字段数量）
[root@localhost ~]#awk -F: '{print NF}' /etc/passwd |
最低0.47元/天 解锁文章
N45_632917996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux 三剑客之AWK
qq_34776150的博客
04-25 831
两种方式可以设置自定义变量。第一种是通过-v参数设置自定义变量值，第二种是通过再awk脚本中声明变量值。
UNIX环境高级编程中的apue.h错误
peilw625311的专栏
04-12 788
最近在读 Richard Stevens 的大作《UNIX环境高级编程》，相信很多初读此书的人都会与我一样遇到这个问题，编译书中的程序实例时会出现问题，提示 “错误：apue.h：没有那个文件或目录”。 apue.h 是作者自定义的一个头文件，并不是Unix/Linux系统自带的，此头文件包括了Unix程序所需的常用头文件及作者Richard自己写的出错处理函数。所以在默认情况下，gcc在编译时
【总结】Shell三剑客之AWK
qq_46777335的博客
08-30 397
END模式是awk的另外一种特殊模式，该模式成立的时机与BEGIN模式恰好相反，它是在awk命令处理完所有的数据，即将退出程序时成立，在此之前，END模式并不成立。因此，该模式所对应的操作仅仅被执行一次，当awk读取数据之后，BEGIN模式便不再成立。所以，用户可以将与数据文件无关，而且在整个程序的生命周期中，只需执行1次的代码放在BEGIN模式对应的操作中。其中，&&表示逻辑与，||表示逻辑或，!其中，pattern1和pattern2都是前面所讲的匹配模式，可以是关系表达式，也可以是正则表达式等。...
文本三剑客之awk
最新发布
pangdongqiqi的博客
07-29 629
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件。
Shell脚本文本三剑客之awk
FYR1018的博客
04-30 493
1 awk 介绍1.1 awk 工作原理1.2 awk 命令的基本格式1.2.1 以行输出文本1.2.2 扩充：awk 'BEGIN{...};{...};END{...}' 文件1.2.3 以字段（列）输出文本1.2.4 三元运算符1.2.5 $NF、\$n~、\$n==、\$n!=1.2.6 OFS 输出内容的列分隔符1.3 高级用法1---通过管道、双引号调用shell命令1.4 高级用法2---awk数组特性1.5 日期---date1.6 案例
三剑客之Awk常用参数总结
Sunny_Future的博客
05-05 1289
Awk 简介 Awk 是被设计用于文本处理，并通常被用作数据提取和报告工具的解释性程序设计语言 Awk 分别代表其三个作者姓氏的第一个字母： Alfred Aho 、Peter Weinberger、Brain Kernighan 目前在Linux中常用的是 awk 编译版本有 mawk 、gawk 以 RedHat 为代表使用的是 gawk，以Ubuntu为代表使用的是 mawk gawk ...
Shell文件处理三剑客之awk
白雪滑落树梢
09-21 2426
文章目录前言一、awk工作原理二、命令格式：总结 前言 awk是一种处理文本文件的语言，是一个强大的文本分析工具。awk是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来白标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk 一、awk工作原理 当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出 如果没有定义匹配条件默认是匹配所有.
网络三剑客之awk
qq_63994746的博客
07-26 568
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
linux文本处理三剑客之awk
码云仓库地址：https://gitee.com/lance-gyq
04-12 540
4.1特点与应用场景 awk 一门语言，类似于C语言 过滤，统计，计算 过滤，统计日志 4.2 awk内置变量 内置变量 示例 NR Number or Record记录号，行号 NF Number of Field每行有多个字段（列） $NF表示最后一列 awk '{print $NF}' 文件名 FS ...
linux三剑客V1.0.pdf
01-22
个人学习中总结出的linux三剑客详细内容，适合新手和老手，非常实用。这里拿出来跟大家分享一下。希望大家能快速掌握linux上这几个工具，是工作效率极大的提高
day6 三剑客三剑客.docx
03-19
"三剑客"通常指的是awk、sed和grep，它们在处理文本和日志时有着各自独特的优势。本文主要关注的是grep命令在正则表达式方面的应用。 1. **基础正则表达式** - **基础符号**：`.`代表任何单个字符，`*`表示前面的...
grep，sed， awk 总结
01-10
linux的强大的文本处理工具grep，sed，awk（文本处理三剑客）
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
#### 三、awk：报告生成器 awk 是一种通用的文本处理工具，特别适合于处理结构化的文本数据，如 CSV 文件。 **基本语法**： ``` awk '{ command }' file ``` - `{ command }`：awk 脚本的主要部分，定义了如何...
总结：网络文件共享服务：FTP、NFS、SAMBA
wauzy的博客
07-23 2630
DAS：直接存储（本地硬盘） NAS：网络连接存储（局域网） FTP NFS SAMBA SAN：存储区域网络（跨网络） FTP协议 双通道协议：数据和命令连接 两种模式：服务器角度 主动(PORT style)：服务器主动连接 命令（控制）：客户端：随机port —> 服务器：tcp21 数据：客户端：随机port <—服务器：tcp20 被动(PASV style)：客户端主动连接 命令（控制）：客户端：随机port —> 服务器：tcp21 数据：客户端：随机.
总结：加密与安全
wauzy的博客
06-11 1879
信息安全防护的目标 保密性 Confidentiality 完整性 Integrity 可用性 Usability 可控制性 Controlability 不可否认性 Non-repudiation 安全防护环节 物理安全：各种设备/主机、机房环境 系统安全：主机或设备的操作系统 应用安全：各种网络服务、应用程序 网络安全：对网络访问的控制、防火墙规则 数据安全：信息的备份与恢复、加密解密 管理安全：各种保障性的规范、流程、方法 安全攻击： STRIDE Spoofing 假冒 [root@centos7
MySQL数据库（一）
wauzy的博客
07-06 1010
centos6默认安装MySQL（已安装） centos7默认mariadb yum安装 centos6 [root@CentOS6 ~]# service mysqld start #开启服务，端口3306 /usr/bin/mysqladmin -u root password 'new-password' #安全加固命令 /usr/bin/mysqladmin -u root -h CentOS6.localdomain password 'new-password' Alternativ
【kubernetes学习】
wauzy的博客
12-26 816
k8s学习--安装1、节点布局2、所有节点安装dockers、kubeadm2.1、安装docker2.2、安装kubeadm2.3、安装相关组件镜像2.4、部署 Kubernetes 的 Master 节点2.4.1、执行命令init2.4.2、部署网络插件2.5、加入node3、部署dashboard4、安装ceph 深入剖析kubernetes--ubuntu18.04安装kubuadm v1.17.2 1、节点布局 节点 IP name master 192.168.116.10 k
Linux三剑客：AWK, SED, Grep详解与高效应用
Linux三剑客，即awk、sed和grep，是Unix和Linux环境中三个强大的文本处理工具，对于提升Linux系统的文本分析和数据处理能力具有关键作用。这些工具在初学者和高级用户中都十分实用，无论是在数据筛选、格式转换还是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值