10个linux awk文本处理经典案例,Linux awk命令常用案例

1. awk简介

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

2. awk常见用法案例

2.1 使用last命令查看登录记录并显示最新的5行结果：

[root@zcwyou ~]# last -n 5

输出结果如下：

root pts/0 192.168.1.1 Sat Nov 24 13:42 still logged in

root pts/1 192.168.1.1 Sat Nov 24 09:41 – 14:11 (04:30)

root pts/1 192.168.1.1 Sat Nov 24 09:15 – 09:41 (00:26)

root pts/1 192.168.1.1 Sat Nov 24 09:13 – 09:14 (00:01)

root pts/1 192.168.1.1 Sat Nov 24 09:05 – 09:13 (00:08)

2.2 使用last命令查看登录记录并显示最新5行结果的第1列：

输出结果如下：

root

root

root

root

root

wtmp

awk工作流程是这样的：读入有’\n’换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，0则表示所有域,1表示第一个域,n表示第n个域。默认域分隔符是”空白键” 或 “[tab]键”,所以1表示登录用户，$3表示登录用户ip,以此类推。

2.3 查看/etc/passwd内容，仅输出第一列。

[root@zcwyou ~]# cat /etc/passwd |awk -F ':' '{print $1}'

输出结果如下：

root

bin

daemon

adm

lp

sync

shutdown

halt

mail

operator

games

ftp

nobody

systemd-network

dbus

polkitd

sshd

postfix

chrony

tcpdump

zcwyou

2.4 关键字搜索

搜索/etc/passwd有root关键字的所有行

[root@zcwyou ~]# awk -F: '/root/' /etc/passwd

输出结果

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

2.5 匹配字符位置

找到以root开头的行，并打印

[root@zcwyou ~]# awk -F: '/^root/' /etc/passwd

输出结果：

root:x:0:0:root:/root:/bin/bash

2.6 过滤列的内容

输出/etc/passwd的第2列和第3列：

[root@zcwyou ~]# awk '{ print 2,3 }' /etc/passwd

得到很奇怪的结果：

User:/var/ftp:/sbin/nologin

Network Management:/:/sbin/nologin

message bus:/:/sbin/nologin

for polkitd:/:/sbin/nologin

SSH:/var/empty/sshd:/sbin/nologin

原因是默认域分隔符是”空白键” 或 “[tab]键”，并不是:号

2.7 指定域分隔符

指定域分隔符为:，根据分隔符打印第1列和第7列，即用户名和对应的shell。

[root@zcwyou ~]# awk -F"[:]" '{print 1,7}' /etc/passwd

输出结果：

root /bin/bash

bin /sbin/nologin

daemon /sbin/nologin

adm /sbin/nologin

lp /sbin/nologin

sync /bin/sync

shutdown /sbin/shutdown

halt /sbin/halt

mail /sbin/nologin

operator /sbin/nologin

games /sbin/nologin

ftp /sbin/nologin

nobody /sbin/nologin

systemd-network /sbin/nologin

dbus /sbin/nologin

polkitd /sbin/nologin

sshd /sbin/nologin

postfix /sbin/nologin

chrony /sbin/nologin

tcpdump /sbin/nologin

zcwyou /bin/bash

2.8 查找时精确匹配内容

某行中的第一个字段必须等于 root 才打印。$0表示所有列

[root@zcwyou ~]# awk -F: '1=="root"{print0}' /etc/passwd

2.9 排除字符

打印/etc/passwd的内容，除去带有root的行

[root@zcwyou ~]# awk -F: '0!~"root"{print0}' /etc/passwd

使用双引号或者反斜杠都是一样的

2.10 自定义输出格式：

打印/etc/passwd，格式为：

文件名,所在的行号,该行列数,该行的内容:root:x:0:0:root:/root:/bin/bash

命令：

[root@zcwyou ~]# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

2.11 统计文件行数

统计/etc/passwd行数

[root@zcwyou ~]# awk 'END{ print NR }' /etc/passwd