Linux三剑客之awk命令

最新推荐文章于 2021-05-11 22:31:16 发布
最新推荐文章于 2021-05-11 22:31:16 发布
阅读量1k 收藏 6
点赞数 3
分类专栏： awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aaronszm/article/details/103846699
版权
一、awk简介

AWK是一个优良强大的文本处理分析工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

二、awk变量
1、内置常用变量
$0           当前记录，当前行所有列

$1~$n        当前记录的第n个字段，字段间由FS分隔

FS           输入域分隔符，等价于命令行-F，默认为空格

NF           当前记录中的字段个数，就是有多少列，列总数，$NF则表示最后一列

NR           已经读取的记录数，就是第几行，行数，从1开始

FNR          当前记录数

RS           输入记录分隔符，默认为换行符(即文本是按一行一行输入)

OFS          输出字段分隔符 默认也是空格

ORS          输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕

ARGC         命令行参数个数

ARGV         命令行参数排列

FILENAME     awk浏览的文件名

\t           制表符

\n           换行符
2、自定义变量类型
echo |awk 'i="hello world"{print i}'
echo |awk 'i=1122 {print i}'
3、数组
echo |awk '{a[1]="hello";a[2]="world!";print a[1],a[2]}'
三、awk常用逻辑运算
?                         条件表达操作符

|| && !                   并、与、非

~  !~                     匹配操作符，包括匹配 不匹配正则表达式

+ - * / % ^               算术操作符

++ --                     前缀和后缀

= += -= *= /= %= ^= **=   赋值操作符 

< <= == != >= >           关系操作符   
  
BEGIN                     在输出界面第一行输出相关

END                       在输出界面最后一行输出相关

+ -                       加，减

* / &                      乘，除与求余

+-！                      一元加，减和逻辑非

^***                      求幂

$                         字段引用

空格                       字符串链接符

?:                         三目运算符

ln                         数组中是否存在某个键值

~                         匹配，与==相比不是精确比较

!~                        不匹配，不精确比较

==                        等于，必须全部相等，精确比较

!=                        不等于，精确比较

&&　                       逻辑与

||                         逻辑或

+                         匹配时表示1个或1个以上

/[0-9][0-9]+/             两个或两个以上数字

/[0-9][0-9]*/             一个或一个以上数字

-F'[:#/]'                 定义三个分隔符
四、语法格式
格式1：前置命令 | awk [选项] ‘条件{编辑指令}'

格式2：awk [选项] ‘条件{编辑指令}'  文件...

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

awk [ -F  分隔符 ]  ' /模式/{操作} '   文件名

awk的指令一定要用单引号括起

awk的动作一定要用花括号括起

模式可以是正则表达式、条件表达式或两种组合

如果模式是正则表达式要用/定界符

多个动作之间用;号分开
五、常用命令选项
-F      指定域分隔符（默认为空格或tab键）

-f      指定从脚本文件中读取awk命令

-V      调用外部Shell变量  variable

'  '    引用代码块

BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符

//      匹配代码块，可以是字符串或正则表达式

{}      命令代码块，包含一条或多条命令

;       多条命令使用分号分隔

END     结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息
环境准备
准备一台Centos6服务器
系统： Centos6.5
内存：1G
cpu： 2核
IP地址: 10.0.0.53
[root@localhost ~]# echo |awk '{print "hello world!"}'
hello world!
[root@localhost ~]# echo '11 22' | awk '{print $1}'
11
[root@localhost ~]# 

[root@localhost ~]# echo |awk 'i="hello world"{print i}'
hello world
[root@localhost ~]# echo |awk 'i=1122 {print i}'
1122
[root@localhost ~]# 

[root@ slave ~]# ifconfig eth1
eth1      Link encap:Ethernet  HWaddr 00:0C:29:B5:87:4D  
          inet addr:172.16.1.22  Bcast:172.16.255.255  Mask:255.255.0.0
          inet6 addr: fe80::20c:29ff:feb5:874d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:30 errors:0 dropped:0 overruns:0 frame:0
          TX packets:24 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1800 (1.7 KiB)  TX bytes:1656 (1.6 KiB)
# 截取MAC地址
[root@ slave ~]# ifconfig eth1 | awk '/HWaddr/{print $5}'
00:0C:29:B5:87:4D
[root@ slave ~]# ifconfig eth1 | awk '/Mask/{print $2}'
addr:172.16.1.22
# 截取IP地址
[root@ slave ~]# ifconfig eth1 | awk '/Mask/{print $2}' | awk -F : '{print $2}'
172.16.1.22
[root@ slave ~]# 

ifconfig eth1 | awk '/Mask/{print $4}' | awk -F : '{print $2}'

# 格式化输出
[root@ slave ~]# echo tom jack | awk '{printf("%-30s %-15s\n",$1,$2)}'
tom                            jack           
[root@ slave ~]# echo tom jack lucy | awk '{printf("%-30s %-20s %s\n",$1,$2,$3)}'
tom                            jack                 lucy
[root@ slave ~]# 

[root@ slave ~]# echo 1 3 | awk '{printf("%f\n",$1/$2)}'
0.333333
[root@ slave ~]# echo 1 3 | awk '{printf("%.2f\n",$1/$2)}'
0.33
[root@ slave ~]# 

#  打印系统用户、家目录、以及shell
cat /etc/passwd | awk -F : '{print $1,$6,$7}'

# 打印出来时更规范一些
 cat /etc/passwd | awk -F : '{printf("%-15s" "%-25s %-20s\n",$1,$6,$7)}'

# 添加规范
cat /etc/passwd | awk -F : 'BEGIN {printf("%-13s %-23s %-23s\n","用户","家目录","SHELL")} {printf("%-15s %-25s %-20s\n",$1,$6,$7)}'

# 结尾打印结束信息
cat /etc/passwd | awk -F : 'BEGIN {printf("%-13s %-23s %-23s\n","用户","家目录","SHELL")} {printf("%-15s %-25s %-20s\n",$1,$6,$7)} END {print "处理完毕"}'

[root@localhost ~]# mpstat 
Linux 2.6.32-431.el6.x86_64 (localhost.localdomain) 	2020年01月05日 	_x86_64_	(2 CPU)

01时58分57秒  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
01时58分57秒  all    0.06    0.00    0.12    0.08    0.00    0.02    0.00    0.00   99.72
# 取出CPU的使用率和空闲率
[root@localhost ~]# mpstat | awk '/all/{print "使用率:",$3+$5"%"} /all/{print "空闲率:",$11"%"}'
使用率: 0.18%
空闲率: 99.72%
[root@localhost ~]# 

# 截取用户
[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} {print $1}'
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
operator
games
gopher
ftp
nobody
dbus
usbmuxd
vcsa
rpc
rtkit
avahi-autoipd
abrt
rpcuser
nfsnobody
haldaemon
gdm
ntp
apache
saslauth
postfix
pulse
sshd
tcpdump
[root@localhost ~]# 

[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} {print NF}'
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
[root@localhost ~]# 

[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} {print NF}' | wc -l
33
[root@localhost ~]# 

[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} /^root/{print NF}' | wc -l
1
[root@localhost ~]# 

[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} /^root/{print NF;print NR}'
7
1
[root@localhost ~]# 

[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} {print NF;print NR}'
7
1
7
2
7
3
7
4
7
5
7
6
7
7
7
8
7
9
7
10
7
11
7
12
7
13
7
14
7
15
7
16
7
17
7
18
7
19
7
20
7
21
7
22
7
23
7
24
7
25
7
26
7
27
7
28
7
29
7
30
7
31
7
32
7
33
[root@localhost ~]# 

[root@localhost ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} {print NF} END{print NR}'
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
33
[root@localhost ~]# 

[root@localhost ~]# awk -F : -v num=0 '{if($3>=500) sum++} END {print sum}' /etc/passwd
1
[root@localhost ~]# awk -F : -v num=0 '{if($3>=10) sum++} END {print sum}' /etc/passwd
24
[root@localhost ~]# awk -F : -v num=0 '{if($3>=20) sum++} END {print sum}' /etc/passwd
19
[root@localhost ~]# 

[root@localhost ~]# awk -F : '/^root/{i=1;while (i<=3) {print $i;i++}}' /etc/passwd
root
x
0
[root@localhost ~]# 

[root@localhost ~]# awk -F : '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd
root
x
0
bin
x
1
daemon
x
2
adm
x
3
lp
x
4
sync
x
5
shutdown
x
6
halt
x
7
mail
x
8
uucp
x
10
operator
x
11
games
x
12
gopher
x
13
ftp
x
14
nobody
x
99
dbus
x
81
usbmuxd
x
113
vcsa
x
69
rpc
x
32
rtkit
x
499
avahi-autoipd
x
170
abrt
x
173
rpcuser
x
29
nfsnobody
x
65534
haldaemon
x
68
gdm
x
42
ntp
x
38
apache
x
48
saslauth
x
498
postfix
x
89
pulse
x
497
sshd
x
74
tcpdump
x
72
[root@localhost ~]#

.

[root@localhost ~]# awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd
root
x
0
bin
x
1
daemon
x
2
adm
x
3
lp
x
4
sync
x
5
shutdown
x
6
halt
x
7
mail
x
8
uucp
x
10
operator
x
11
games
x
12
gopher
x
13
ftp
x
14
nobody
x
99
dbus
x
81
usbmuxd
x
113
vcsa
x
69
rpc
x
32
rtkit
x
499
avahi-autoipd
x
170
abrt
x
173
rpcuser
x
29
nfsnobody
x
65534
haldaemon
x
68
gdm
x
42
ntp
x
38
apache
x
48
saslauth
x
498
postfix
x
89
pulse
x
497
sshd
x
74
tcpdump
x
72
[root@localhost ~]# 

[root@localhost ~]# awk -F : '{if ($3>500) print $0}' /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
[root@localhost ~]# awk -F : '{if ($3>=100) print $0}' /etc/passwd
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
saslauth:x:498:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin
pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
[root@localhost ~]# awk -F : '{if ($3>=100) print $3}' /etc/passwd
113
499
170
173
65534
498
497
[root@localhost ~]# awk -F : '$3>=100{print $3}' /etc/passwd
113
499
170
173
65534
498
497
[root@localhost ~]#
Πέτρος
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux三剑客之awk命令快速入门
shuixiou1的博客
05-19 528
一、简介 1.1 awk是什么? awk不仅仅时linux系统中的一个命令，而且是一种编程语言，可以用来处理数据和生成报告（excel）。处理的数据可以是一个或多个文件，可以是来自标准输入，也可以通过管道获取标准输入，awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用 1.2awk的格式 awk [options] 'pattern{ac...
Linux三剑客 之 sed 命令
AD钙没有奶
12-21 1624
语法格式 目录 sed编辑模式 d ：删除 定位 sed [参数] ’处理规则‘ [操作对象] 参数 描述 -e 允许多项编辑 -n 取消默认输出 -i 就地编辑 -r 支持扩展正则 -f 指定sed匹配规则的脚步文件 -e参数如图： -n参数如图： -i参数如图： -r参数如图: -f参数如图： 指定sed匹配规则的脚步文件 sed编辑模式 d ：删除 ...
shell的printf输出时包含空格问题
mtb的博客
07-18 8968
代码： printf "%-30s:%-15s\n" report_selinux_enable $report_selinux_enable printf "%-30s:%-15s\n" report_selinux_status $report_selinux_status printf "%-30s:%-15s\n" report_os $report_os printf "%-30s:...
echo命令和awk命令
扎克begod的专栏
03-06 7181
echo用来输出内容，比如，echo -e ‘hello linux system\nmy name is bigboy.’。-e，表示若输出内容有特殊符号，则按特殊符号输出。上个命令的输出是： hello linux system my name is big boy. 若没有-e，比如echo -e ‘hello linuxsystem\nmy name is big boy.’则把\n...
linux awk 函数,linux awk命令
weixin_32905035的博客
05-11 139
前言：最近复习了下awk，记录方便下次查阅echo '11 22' | awk '{print $1}'echo |awk '{print "hello world!"}'一.awk变量内置常用变量$0 当前记录，当前行所有列$1~$n 当前记录的第n个字段，字段间由FS分隔FS 输入域分隔符，等价于命令行-F，默认为空格NF 当前记录中的字段个数，就是有多少列，...
php printf()
编程资料大全
06-23 240
printf()函数是格式化输出函数, 一般用于向标准输出设备按规定格式输出信息。在编写程序时经常会用到此函数。函数的原型为：int printf(const char *format, ...);函数返回值为整型。若成功则返回输出的字符数，输出出错则返回负值。printf()函数的调用格式为:printf("&lt;格式化字符串&gt;", &lt;参量表&gt;);其中格式化字符串包括两部分内...
shell每日更新（5）
weixin_34343000的博客
06-11 72
6月11号 晚上8点半 提取字段用：awk 与cut 如提取passwd中第五个字段。 [root@fsailing1 shell]# awk -F: '{print $1}' /etc/passwd root bin daemon adm lp sync shutdown halt [root@fsailing1 shell]# cut -d: -f 5 /etc/passwd ro...
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 ...
Linux 三剑客 Awk、Sed、Grep 命令详解
08-17
Linux 三剑客 Awk、Sed、Grep 命令详解 AWK 命令详解 AWK（Aho, Weinberger, and Kernighan）是一种功能强大的文本处理语言，主要用于处理文本和数据。它可以从标准输入、文件或其他命令的输出中读取数据，并对其...
Linux三剑客命令从入门到放弃
03-25
在IT领域，Linux操作系统是许多系统管理员和开发者的重要工具，其中Linux三剑客——AWK、SED和GREP，是日常工作中不可或缺的命令行工具。它们各自承担着文本处理、流编辑和搜索的关键任务，帮助用户高效地处理大量...
Linux 常用命令（整理中）
fox_bert的博客
02-27 782
linux vi命令 编辑模式 　　使用vi进入文本后，按i开始编辑文本 退出编辑模式 　　按ESC键，然后： 　　　　退出vi 　　　:q! 不保存文件，强制退出vi命令 　　　 :w 保存文件，不退出vi命令 　　　 :wq 保存文件，退出vi命令 使用vi命令进行删除 dd --删除当前行 ndd --删除n行数据 dG --删除当前后之后的全部行 ...
echo ，awk 获取 list
weixin_34221276的博客
11-30 422
2019独角兽企业重金招聘Python工程师标准>>> ...
linux的echo和awk命令
迎接小天使
12-24 1616
echo echo是用来输出内容 -e，表示若输出内容有特殊符号，则按特殊符号输出 echo -e "hello \nWorld" 若没有-e,则把\n当做普通字符显示输出 echo "hello \nWorld" awk awk可以按照指定字符分割文本内容，比如 echo 'hello,3hi,big,boy' | awk -F , '{print $0}' 意思是按照,分割,输出所有字符 awk可以按照指定字符分割文本内容，输出指定下标的内容，比如 echo 'hello,3hi,big,b
算机科学与技术 基于Java的医务室病例管理小程序的设计与实现.docx
07-20
算机科学与技术 基于Java的医务室病例管理小程序的设计与实现
物联网工程_基于NBIOT的白洋淀水质实时监测系统.docx
07-20
物联网工程_基于NBIOT的白洋淀水质实时监测系统
国企数字化转型解读及赋能三套材料.pptx
最新发布
07-20
国企数字化转型解读及赋能三套材料.pptx

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值