1、awk概述
AWK
是一种处理文本文件的语言,是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作
数据可以来自标准输入也可以是管道或文件
在
linux
上常用的是
gawk,awk
是
gawk
的链接文件
[root@localhost~]# which awk
/usr/bin/awk[root@localhost~]# ll /usr/bin/awk
lrwxrwxrwx. 1 root root 4 6月 11 07:19 /usr/bin/awk -> gawk
2、awk工作原理
当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出
如果没有定义匹配条件默认是匹配所有数据行,
awk
隐含循环,条件匹配多少次动作就会执行多少次逐行读取文本,默认以空格或tab
键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
sed
命令常用于一整行的处理,而
awk
比较、倾向于将一行分成多个
""
字段
"
然后再进行处理。
awk
信息的读入也是逐行读取的,执行结果可以通过
print
的功能将字段数据打印显示。在使用
awk
命令的过程中,
可以使用逻辑操作符
" &&"
表示
"
与
"
、
"||
表示
"
或
"
、
"!"
表示非
";
还可以进行简单的数学运算,如
+、-
、*
、
/
、
%
、
^
分别表示加、减、乘、除、取余和乘方。
正则表达式
: /root/
匹配含有
root
的行
/*.root/
关系表达式:
< > && || + *
匹配表达式:
~
!
~
动作:
变量 命令 内置函数
流控制语句它的语法结构如下:
awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }'BEGIN END 是 AWK 的关键字部,因此必须大写;这两个部分开始块和结束块是可选的
![](https://i-blog.csdnimg.cn/direct/85b57faa4b63473cb5a8c00cb34432db.png)
3、awk执行流程
BEGIN
语句设置计数和打印头部信息,在任何动作之前进行
END
语句输出统计结果,在完成动作之后执行
AWK
执行流程:读(
Read
)、执行(
Execute
)与重复(
Repeat
)。
1
、读(
Read
):从文件、管道或标准输入中读入一行到内存中
2
、执行(
Execute
):对每一行数据,根据
AWK
命令按顺序执行。默认情况是处理每一行数据,也可以指定模式
3
、重复(
Repeat
):一直重复上述两个过程直到文件结束
![](https://i-blog.csdnimg.cn/direct/94b0cb06368641d1a8c8d45263fc73bd.png)
4、命令格式
awk 选项 ' 模式或条件 { 操作 }' 文件 1 文件 2 ...awk -f 脚本文件 文件 1 文件 2 ..格式: awk 关键字 选项 命令部分 '{xxxx}' 文件名
**AWK
支持两种不同类型的变量:内建变量
(
可直接使用
)
,自定义变量
awk
内置变量(预定义变量)
FS
:指定每行文本的字段分隔符,默认为空格或制表位。
NF
:当前处理的行的字段个数。在执行过程中对应于当前的字段数,
NF
:列的个数
NR
:当前处理的行的行号(序数)。 在执行过程中对应于当前的行号
$0
:当前处理的行的整行内容。
$n
:当前处理行的第
n
个字段(第
n
列)。比如
: $1
表示第一个字段,
$2
表示第二个字段
FILENAME
:被处理的文件名
(
当前输入文件的名
)
。
FNR
各文件分别计数的行号
OFS
输出字段分隔符(默认值是一个空格)
ORS
输出记录分隔符(默认值是一个换行符)
RS:
行分隔符。
awk
从文件上读取资料时
,
将根据
Rs
的定义把资料切割成许多条记录
,
而
awk
一次仅读入一条记录,
以进行处理。预设值是
" \n'
简说:数据记录分隔,默认为
\n
,即每行为一条记录
5、内建变量(FS NF NR $0 $n)
awk
包含几个特殊的内建变量(可直接用)如下所示:
FS
:指定每行文本的字段分隔符,默认为空格或制表位(\t)。
NF
:当前处理的行的字段个数(列)。
NR
:当前处理的行的行号(序数)。
$0
:当前处理的行的整行内容。
$n
:当前处理行的第
n 个字段(第 n
列)。
FILENAME
:被处理的文件名。
RS:
行分隔符。
awk
从文件上读取资料时
,
将根据
Rs
的定义把资料切割成许多条记录
,
而
awk
一次仅读入一
条记录
,
以进行处理。预设值是
" \n'
简说:数据记录分隔,默认为
\n
,即每行为一条记录
![](https://i-blog.csdnimg.cn/direct/34c7cca4ab8b451d840793182c887171.png)
[root@localhost ~]
#awk 'patterm{action}'
[root@localhost ~]
#awk ' ' #
什么都不写 空没有效果
[root@localhost ~] #awk '{print}' #把输入内容再 打印一遍
![](https://i-blog.csdnimg.cn/direct/60eaa2fecf154eec8a1c97e5de9b2459.png)
[root@localhost ~] #awk '{print "hello"}' 输入任何内容都打印hello# 字符串需要添加双引号,单引号已被使用
![](https://i-blog.csdnimg.cn/direct/b8cfa728dcd3480bb6793271a8ad430b.png)
[root@localhost ~] #awk '{print "hello"}' < /etc/passwd把/etc/passwd内容输出到awk,所有/etc/passwd内容显示成hello
![](https://i-blog.csdnimg.cn/direct/ca223442a5e14f529a1fef68e97c6ba0.png)
[root@localhost ~] # cat /etc/passwd | head -10 > zz #把/etc/passwd前10行输入到zz[root@localhost ~] # awk '{print}' zz #打印文件zz[root@localhost ~] # awk '{print $1}' zz #以默认空格为分隔,打印zz第一列[root@localhost ~] # awk -F: '{print $1}' zz #以:为分隔,打印zz第一列
![](https://i-blog.csdnimg.cn/direct/0213886f8d6f43f0a7db383745f1e859.png)
![](https://i-blog.csdnimg.cn/direct/46e750924ec94d2fa529300bf3ab4bcc.png)
root:x:0:0:root:/root:/bin/bash //awk
默认把这一行当做一列,因为没有被空格分隔,
awk
默
认以空格或
tab
键分隔
![](https://i-blog.csdnimg.cn/direct/9cc5c986353c469dbd678b1d3496bbe4.png)
[root@localhost ~] # awk -F: '{print $5}' zz # 以:为分隔符,打印第五列
![](https://i-blog.csdnimg.cn/direct/e6ef399809fb4268b59b18b8b0b29459.png)
[root@localhost ~] # awk -Fx '{print $1}' /etc/passwd #以 x 为分隔符 ,打印第一列
![](https://i-blog.csdnimg.cn/direct/1a081006001140719802ef81e4ff66d6.png)
[root@localhost ~] # awk '{print $1 $2}' zz[root@localhost ~] # awk '{print $1" "$2}' zz #双引号中间加一个空格,空格作用[root@localhost ~] # awk '{print $1,$2}' zz # 逗号有空格效果[root@localhost ~] # awk -F: '{print $1"\t"$2}' /etc/passwd #用制表符作为分隔符
![](https://i-blog.csdnimg.cn/direct/2a733cb179ea4545aa7bc60f7c738829.png)
[root@localhost ~] # awk -F[:/] '{print $9}' zz// 定义多个分隔符,只要看到其中一个都算作分隔符
![](https://i-blog.csdnimg.cn/direct/bb8298d3062d48c5a189ba7d5ec242d3.png)
6、内置变量($0 $1 NF NR)
awk
常用内置变量:
$1
、
$2
、
NF
、
NR
、
$0
$1
:代表第一列
$2
:代表第二列以此类推
$0
:代表整行
NF:一行的列数
NR:行数
[root@localhost ~] # awk -F: '/root/{print $0}' zz // 打印包含 root 的整行内容
![](https://i-blog.csdnimg.cn/direct/8bfbc4ac8dca4393812c425886105a88.png)
[root@localhost ~] # awk -F: '/root/{print $1}' zz // 打印包含 root 的行的第一列
![](https://i-blog.csdnimg.cn/direct/ac334202360c4e66b282cbd7892fa0dc.png)
[root@localhost ~] # awk -F: '/root/{print $1,$6}' zz // 打印包含 root 行的第1列和第6列
![](https://i-blog.csdnimg.cn/direct/a1a5309d167148198fdafcf83d66c90e.png)
[root@localhost ~] # awk '/root/' /etc/passwd //输出包含root的行
![](https://i-blog.csdnimg.cn/direct/f73592688d914fbbac84ccd45065f47d.png)
[root@localhost ~] # awk -F[:/] '{print NF}' zz // 打印每一行的列数
![](https://i-blog.csdnimg.cn/direct/b7d0d95000324bcb8976d6cc40cfce49.png)
[root@localhost ~] # awk '{print NR}' zz[root@localhost ~] # awk -F[:/] '{print NR}' zz //显示行号[root@localhost ~] # awk -F: '{print NR}' zz
![](https://i-blog.csdnimg.cn/direct/0095a2205edd4247837c1412c08dda81.png)
![](https://i-blog.csdnimg.cn/direct/3ac76039b4e444fdba28e77ab222d592.png)
![](https://i-blog.csdnimg.cn/direct/2554b8d464a1405baf2984909ce759bb.png)
[root@localhost ~] # awk -F: '{print NR,$0}' pass.txt //显示行号,并打印每一行
![](https://i-blog.csdnimg.cn/direct/b4b82afae76046dbadd2689e8c2b98d1.png)
[root@localhost ~] # awk 'NR==2' zz //打印第二行 (不加 print 也一样,默认就是打印)[root@localhost ~] # awk 'NR==2{print}' /etc/passwd
![](https://i-blog.csdnimg.cn/direct/ba0c504a26084c3e9b20a1faeaa082a4.png)
[root@localhost ~] # awk -F: 'NR==2{print $1}' /etc/passwd // 打印第二行的第一列
![](https://i-blog.csdnimg.cn/direct/b0883240670e4dc5bdbd52ed327bf97b.png)
[root@localhost ~] # awk -F: '{print $NF}' /etc/passwd // 打印最后一列
![](https://i-blog.csdnimg.cn/direct/6ffec31041044c879bc3817279a28f09.png)
[root@localhost ~] # awk 'END{print NR}' zz // 打印最后一行行号,相当于总行数
![](https://i-blog.csdnimg.cn/direct/9eba23318c794e2982acd6c424cd93cf.png)
[root@localhost ~] # awk 'END{print $0}' zz // 打印文件最后一行
![](https://i-blog.csdnimg.cn/direct/93728a50a9fc4f849622fc19f912ef30.png)
[root@localhost ~] # awk -F: '{print " 当前行有 "NF" 列 "}' zz[root@localhost ~] # awk -F: '{print " 第 "NR" 行有 "NF" 列 "}' zz // 第几行有几 列
![](https://i-blog.csdnimg.cn/direct/b853f33101d7495d8a0a5c2946665755.png)
扩展生产案列:网卡的
ip
、流量
[root@localhost ~] # ifconfig ens33 | awk '/netmask/{print " 本机的 ip 地址是 "$4}'打印 ifconfig ens33 包含 netmask 行 的第四列
![](https://i-blog.csdnimg.cn/direct/8f67823630084a1a897627338e590256.png)
[root@localhost ~] # ifconfig ens33 | awk '/RX p/{print $5" 字节 "}'打印 ifconfig ens33 包含 RX p 行 的第五列# 根分区的可用量
![](https://i-blog.csdnimg.cn/direct/0e49af58ad9d4ea1a0eba71f4b670cd8.png)
[root@localhost ~] # df -h | awk 'NR==2{print $4}'打印 df -h 第二行 第四列
![](https://i-blog.csdnimg.cn/direct/01a48743823f4cab995f735838f40c8f.png)
7、BEGIN END 运算
逐行执行开始之前执行什么任务,结束之后再执行什么任务,用
BEGIN
、
END
BEGIN
一般用来做初始化操作,仅在读取数据记录之前执行一次
END
一般用来做汇总操作,仅在读取完数据记录之后执行一次
awk
的运算:
[root@localhost ~] # awk 'BEGIN{x=10;print x}'// 如果不用引号 awk 就当作一个变量来输出了,所以不需要加$ 了10[root@localhost ~] # awk 'BEGIN{x=10;print x+1}'//BEGIN 在处理文件之前,所以后面不跟文件名也不影响11[root@localhost ~] # awk 'BEGIN{x=10;x++;print x}'11[root@localhost ~] # awk 'BEGIN{print x+1}'// 不指定初始值,初始值就为 0 ,如果是字符串,则默认为空1
![](https://i-blog.csdnimg.cn/direct/456368cd5c4246ee9dc4e0b7b6885c89.png)
[root@localhost ~] # awk 'BEGIN{print 2.5+3.5}' // 小数也可以运算6[root@localhost ~] # awk 'BEGIN{print 2-1}'1[root@localhost ~] # awk 'BEGIN{print 3*4}'12[root@localhost ~] # awk 'BEGIN{print 3**2}'9[root@localhost ~] # awk 'BEGIN{print 2^3}' //^ 和 ** 都是幂运算8[root@localhost ~] # awk 'BEGIN{print 1/2}'0 .5
![](https://i-blog.csdnimg.cn/direct/86801468b27f4f3fbeed2728982978c7.png)
[root@localhost ~] # awk -F: '/root/' /etc/passwd //包含 root 的行// 如果后面有具体打印多少列就没法省略print 了
![](https://i-blog.csdnimg.cn/direct/85d5b052435f43d88849fe86381e196d.png)
8、模糊匹配(~、!~)
模糊匹配,用
~
表示包含,
!~
表示不包含
[root@localhost ~] # awk -F: '$1~/root/' zz #第一列包含 root 的行
![](https://i-blog.csdnimg.cn/direct/386eb64183df4fb896d76acb3dceea45.png)
[root@localhost ~] # awk -F: '$1~/ro/' zz #第一列包含 ro 的行// 模糊匹配,只要有 ro 就匹配上
![](https://i-blog.csdnimg.cn/direct/bc47f2c740424e7fad3cdef938af3456.png)
[root@localhost ~] # awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd第七列不包含以 nologin 结尾的行 ,并打印第一列第七列
![](https://i-blog.csdnimg.cn/direct/5213491693134a879a8456a1f8aebc5f.png)
9、数值与字符串的比较(== != > <)
比较符号:
== != <= >= < >
[root@localhost ~] # awk 'NR==5{print}' zz[root@localhost ~] # awk 'NR==5' zz #打印第5行
![](https://i-blog.csdnimg.cn/direct/f7f4946ea7254f608fe8dcb15457328e.png)
[root@localhost ~] # awk 'NR<5' /etc/passwd #打印行号小于5的行
![](https://i-blog.csdnimg.cn/direct/5b2328da7d8a474190c90b106f455b61.png)
[root@localhost ~] # awk -F: '$3==0' /etc/passwd #打印第3列=0的行
![](https://i-blog.csdnimg.cn/direct/aae37c852b7445c58982721fa49ae73a.png)
[root@localhost ~] # awk -F: '$1=="root"' /etc/passwd #打印第1列=root的行
![](https://i-blog.csdnimg.cn/direct/3996354eea194fbd8512e8ecf674bb3b.png)
[root@localhost ~] # awk -F: '$3>=1000' /etc/passwd #打印带3列uid >= 1000的行uid >=1000 为普通用户
![](https://i-blog.csdnimg.cn/direct/176b8f2e208d4642a7b20dd8dd5c5e55.png)
10、逻辑运算 (&& 、||)
&&
和
||
是逻辑运算符,用于组合多个条件并控制程序流程。
&&(而且)
要求所有条件都为真时才为真,否则为假。
|| (或)
只要有一个条件为真就为真,全为假时才为假。
[root@localhost ~] # awk -F: '$3<10 || $3>=1000' /etc/passwd 第3列小于10或大于等于1000[root@localhost ~] # awk -F: '$3>10 && $3<1000' /etc/passwd 第3列大于10而且小于1000
![](https://i-blog.csdnimg.cn/direct/59bc43699e094ce6bf54600724ed89f2.png)
[root@localhost ~] # awk -F: 'NR>4 && NR<10' /etc/passwd 行号大于4小于10
![](https://i-blog.csdnimg.cn/direct/71b22ce93fab46f594568dc47edaf026.png)
打印 1-200 之间所有能被 7 整除并且包含数字 7 的整数数字[root@localhost ~] # seq 200 | awk '$1%7==0 && $1~/7/'
![](https://i-blog.csdnimg.cn/direct/d94dd798f8254ae7a8cde1a2e9ea3ebb.png)
FS、OFS、NR、FNR、RS、ORS
其他内置变量的用法
FS
(输入)、
OFS
、
NR
、
FNR
、
RS
、
ORS
FS
:输入字段的分隔符 默认是空格
OFS
:输出字段的分隔符 默认也是空格
FNR
:读取文件的记录数(行号),从
1
开始,新的文件重新重
1
开始计数,把一个文件追加到另一个文件,行号不累计
NR :行号累计
RS
:输入行分隔符
默认为换行符,
把一行内容按照分隔符分割 换行输出
ORS
:输出行分隔符
默认也是为换行符,
把多行合并成一行输出
FS:输入字段的分隔符
[root@localhost ~] # awk 'BEGIN{FS=":"}{print $1}' pass.txt以 :为分隔符,打印第一列
![](https://i-blog.csdnimg.cn/direct/80fa55dfc58a47d59412bb3906aedaca.png)
OFS:输出字段的分隔符
[root@localhost ~] # awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' pass.txt以:为分隔符,输出时以 --- 为分隔符 ,打印第1第2列
#OFS
定义了输出时以什么分隔,
$1$2
中间要用逗号分隔,因为逗号默认被映射为
OFS
变量,而这个变量默认是空格
![](https://i-blog.csdnimg.cn/direct/e0197c5c0d0b4efa90629f8ee2be75c4.png)
FNR:一个文件追加到另一个文件,行号不累计
[root@localhost ~] # awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts把 /etc/hosts 追加到 /etc/resolv.conf ,打印行号和内容 FNR行号不追加
![](https://i-blog.csdnimg.cn/direct/2918f82a54344e42a82c4d116c71dff1.png)
NR:一个文件追加到另一个文件,行号累计
[root@localhost ~] # awk '{print NR,$0}' /etc/resolv.conf /etc/hosts把 /etc/hosts 追加到 /etc/resolv.conf ,打印行号和内容 FNR行号追加
![](https://i-blog.csdnimg.cn/direct/e47bd14e3d504c24a8e249a619d1ac8d.png)
RS:一行内容按照分隔符分割 换行输出
[root@localhost ~] # awk 'BEGIN{RS=":"}{print $0}' /etc/passwd把一行内容以 :为分隔符 分割 ,换行输出
#RS:
指定以什么为换行符,这里指定是冒号,你指定的肯定是原文里存在的字符
![](https://i-blog.csdnimg.cn/direct/1125edbc5d3d496f82ea51b4546412a6.png)
ORS:多行合并成一行输出
[root@localhost ~] # awk 'BEGIN{ORS=" "}{print $0}' /etc/passwd// 把多行合并成一行输出,输出时以空格为分隔符 (本来默认的是回车键)
![](https://i-blog.csdnimg.cn/direct/cfa74aabf49a42949293c1e31d7a511c.png)
11、 awk高级用法(变量)
# 定义引用变量[root@localhost ~] # a=100[root@localhost ~] # awk -v b="$a" 'BEGIN{print b}'# 将系统的变量 a ,在 awk 里赋值为变量 b ,然后调用变量 b -v 选项将其传递给 awk100[root@localhost ~] # awk 'BEGIN{print " '$a' "}' // 直接调用的话需要先用双引号再用单引号100
![](https://i-blog.csdnimg.cn/direct/76ac51773a574db19e16dbdaade81de7.png)
[root@localhost ~] # awk -vc=10 'BEGIN{print c}' //awk 直接定义变量并引用10[root@localhost ~] # awk -vc=$a 'BEGIN{print c}'100
![](https://i-blog.csdnimg.cn/direct/650f613d711045bfb69288c044eec6db.png)
[root@localhost ~] # seq 10 | awk '{getline;print $0}' // 显示1-10偶数行[root@localhost ~] # seq 10 | awk '{print $0;getline}' // 显示1-10奇数行[root@localhost ~] # df -h | awk 'BEGIN{getline}/root/{print $0}'在 df -h 偶数行里 打印包含 root 的行# 调用函数 getline ,读取一行数据的时候并不是得到当前行而是当前行的下一行
![](https://i-blog.csdnimg.cn/direct/137db865557741a38e1262ea7181e249.png)
![](https://i-blog.csdnimg.cn/direct/f5591f5880ef4b548e4bec49e5602b10.png)
12、 awk if语句(单、双、多)
awk
的
if
语句也分为单分支、双分支和多分支
[root@localhost ~] # awk -F: '{if($3<10){print $0}}' /etc/passwd // 第三列小于 10 的打印整行[root@localhost ~] # awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd// 第三列小于 10 的打印第三列,否则打印第一列
![](https://i-blog.csdnimg.cn/direct/54736fd4b8a1409ea35ac7cc29fbc6cf.png)
13、 BEGIN END 流程
awk
还支持
for
循环、
while
循环、函数、数组等
其他
awk 'BEGIN{ commands } pattern{ commands } END{ commands }'
第一步:运行
BEGIN{ commands }
语句块中的语句。
第二步:从文件或标准输入
(stdin)
读取一行。然后运行
pattern{ commands }
语句块,它逐行扫描文
件,从第一行到最后一行反复这个过程。直到文件所有被读取完成。
第三步:当读至输入流末尾时,运行
END{ commands }
语句块。
BEGIN
语句块在
awk
开始从输入流中读取行之前被运行,这是一个可选的语句块,比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN
语句块中。
END
语句块在
awk
从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END
语句块中完毕,它也是一个可选语句块。
pattern
语句块中的通用命令是最重要的部分,它也是可选的。假设没有提供
pattern
语句块,则默认运行{ print }
,即打印每个读取到的行。
awk
读取的每一行都会运行该语句块。
这三个部分缺少任何一部分都可以
[root@localhost ] #awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END{print x}' /etc/passwd# 统计以 / bin/bash 结尾的行数开始模块 x=0 ;工作模块:以/bin/bash结尾的行,x+1,并打印当前x和内容 ; 结束模块:打印x[root@localhost ~] #grep -c "/bin/bash$" /etc/passwd
![](https://i-blog.csdnimg.cn/direct/989d6e76273f4f609400facd2ac25c6c.png)
![](https://i-blog.csdnimg.cn/direct/5adc682d0e954707a0f15aca65ff624d.png)
BEGIN
模式表示,在处理指定的文本之前,需要先执行
BEGIN
模式中指定的动作
;
awk
再处理指定的文本,之后再执行END
模式中指定的动作,
END{}
语句块中,往往会放入打印结果等语句
[root@localhost ~] #awk -F ":" '! ($3<200){print} ' /etc/passwd# 输出第 3 个字段的值不小于 200 的行[root@localhost ~]awk -F: 'if ($3>=1000){print}' /etc/passwd
[root@localhost ~] #awk 'BEGIN {FS=":"} ;{if($3>=1000){print}}' /etc/passwd# 先处理完 BEGIN 的内容,再打印文本里面的内容
![](https://i-blog.csdnimg.cn/direct/06050533cafe4d5894fba1443d890427.png)
[root@localhost ~] #awk -F ":" ' {max=($3>=$4) ?$3:$4; {print max}} ' /etc/passwd#($3>$4)?$3:$4 三元运算符,如果第 3 个字段的值大于等于第 4 个字段的值,则把第 3 个字段的值赋给 max , 否则第4 个字段的值赋给 max
![](https://i-blog.csdnimg.cn/direct/8c02ff4caa83402db03ba5c02a80b484.png)
[root@localhost ~] #awk -F ":" '{print NR,$0}' /etc/passwd# 输出每行内容和行号,每处理完一条记录, NR 值加 1[root@localhost ~] #sed -n '=;p' /etc/passwd-n 关闭打印 = 输出行号 ;多个模式用;隔开
![](https://i-blog.csdnimg.cn/direct/a918bf2d25e646a0821e44ebeb120531.png)
![](https://i-blog.csdnimg.cn/direct/821d79f07e2641218f6aa1481beb1a87.png)
[root@localhost ~] #awk -F ":" '$7~"bash"{print $1,47}' /etc/passwd# 输出以冒号分隔且第 7 个字段中包含 /bash 的行的第 1 个字段
![](https://i-blog.csdnimg.cn/direct/4fdecbe703ba4eb5af936701a191a1e5.png)
[root@localhost ~] #awk -F: '/bash/ {print $1}' /etc/passwd[root@localhost ~] #awk -F":" '($1~"root") && (NF==7) {print $1,$2,$NF } ' /etc/passwd# 第 1 个字段中包含 root 且有 7 个字段的行的第 1 、 2字段和最后一 个字段
![](https://i-blog.csdnimg.cn/direct/05a304ddd55449cd898a510f49e6706a.png)
[root@localhost ~] #awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print} ' /etc/passwd# 输出第 7 个字段既不为 /bin/bash ,也不为 /sbin/nologin 的所有行
![](https://i-blog.csdnimg.cn/direct/f37c0aaaf1d047829ec43ed8813a638d.png)
[root@localhost ~] #awk -F: '($NF !=" /bin/bash")&&($NF !=" /sbin/nologin" ) {print NR, $0}' passwd最后一列不等于 /bin/bash 而且 最后一列不等于 /sbin/nologin 的行,打印行号和内容
![](https://i-blog.csdnimg.cn/direct/515d2dc0ee7e49da913ff2b8ca806734.png)
通过管道、双引号调用
shell
命令
:
[root@localhost ~] #echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'# 统计以冒号分隔的文本段落数, END{ } 语句块中,往往会放入打印结果等语句[root@localhost ~] #echo $PATH | awk 'BEGIN{RS=":"};{print NR,$0};END {print NR}'
![](https://i-blog.csdnimg.cn/direct/89202deeb01742e19caa44bbf9126c5c.png)
[root@localhost ~]# grep -c "bash$" etc/passwd[root@localhost ~] #awk -F: '/bash$/{print | "wc -l"}' /etc/passwd# 调用 wc -l 命令统计以 bash结尾 的个数[root@localhost ~] #awk -F: '/bash$/ {print}' /etc/passwd | wc -l
![](https://i-blog.csdnimg.cn/direct/65a342771f3f483c86ba5f39f1b917f9.png)
[root@localhost ~] #free -m |awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'# 查看当前内存使用百分比int 取整包含Mem:的行,打印第3列 / (第3列+第4列) *100 ,取整,再加上 %[ root@localhost ~] # free -m | awk '/Mem:/ {print $3/$2}'0.327869[root@localhost ~] # free -m | awk '/Mem:/ {print $3/$2*100}'32.7869[ root@localhost ~] # free -m | awk '/Mem:/ {print int($3/$2*100)}'32[ root@localhost ~] # free -m | awk '/Mem:/ {print int($3/$2*100)"%"}’32%[root@localhost ~] #free -m | awk '/Mem:/ {print $3/$2*100}' | awk -F. '{print $1 "%"}'包含Mem:的行,打印第3列 / 第2列 *100 , 打印第一列,再加上 %
![](https://i-blog.csdnimg.cn/direct/0cf4c88a63d74d5ea3c822794824b5ce.png)
![](https://i-blog.csdnimg.cn/direct/6896162a7b53466d8c0285beb8a6a2ea.png)
[root@localhost ~] #top -b -n 1 | grep Cpu | awk -F ',' '{print $4}'| awk '{print $1}'# 查看当前 CPU 空闲率, ( -b -n 1 表示只需要 1 次的输出结果 )
![](https://i-blog.csdnimg.cn/direct/b117d80366dd4018a3e340a1ac996cd9.png)
us
: 用户空间进程使用的CPUsy
: 内核空间进程使用的CPU/系统ni
: Nice优先级调整的进程使用的CPUid
: CPU空闲状态的时间wa
: 等待I/O操作的时间hi
: 处理硬件中断的时间si
: 处理软件中断的时间st
: 在虚拟化环境中,其他虚拟机使用CPU的时间
![](https://i-blog.csdnimg.cn/direct/a2e5e32302e245abb12a30aefd303995.png)
[root@localhost ~]
#date -d "$(awk -F "." '{print $1}'/proc/uptime) second ago"+"%F%H:%M:%S"
显示上次系统重启时间,等同于
uptime; second ago
为显示多少秒前的时间,
+
$”
选日
:3N:3S
等同于
+
"3Y-n-%d 3
日
:8N:8S"
的时间格式
在awk里调用函数
awk 'BEGIN{"函数名" | getline;{print }}'
[root@localhost ~] #seq 10 | awk ' {getline; print $0 }'[root@localhost ~] #seq 10 | awk ' { print $0 ; getline } '[root@localhost ~] #awk 'BEGIN { "hostname" | getline ; {print $0}}'# 调用 hostname, 并输出当前的主机名# 当 getline 左右无重定向符 "<" 或 "I" 时, awk 首先读取到了第一行,就是 1 ,然后 getline ,就得到了 1 下面的第二行,就是2 ,因为 getline 之后, awk 会改变对应的 NE , NR , FNR 和 $0 等内部变量,所以此时的 $O 的值就不再是1 ,而是 2 了,然后将它打印出来。
![](https://i-blog.csdnimg.cn/direct/b03c57015218495a863eaafb0e615aaf.png)
[root@localhost ~] # awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'# 调用 w 命令,并用来统计在线用户数
BEGIN
块初始化计数器n
为0while ("w" | getline)
使用getline
从命令w
的标准输出中读取每一行n++
每读取一行,计数器n
递增1{print n-2}
在所有行读取完成后,打印计数器n
的值减去2(前两行)[root@localhost home]# w | awk 'NR==1'| awk -F, '{print $2}'| awk '{print $1}'
![](https://i-blog.csdnimg.cn/direct/eec6237c880743be93d5819ed3616873.png)
![](https://i-blog.csdnimg.cn/direct/df3dba1dd35a43d39b64848b0b4ba752.png)
当
getline
左右有重定向符
"<"
或
"I"
时,
getline
则作用于定向输入文件,由于该文件是刚打开
,
并没有被
awk
读入一行
,
只是
getline
读入,那么
getline
返回的是该文件的第一行,而不是隔行。
CPU
使用率
cpu_us = `top -b -n 1 | grep Cpu | awk '{print $2 }'`# 用户空间程序 CPU 的占用的比列cpu_sy = `top -b -n 1 | grep Cpu | awk -F ',' '{print $2 }' | awk '{print $1 }'`# 系统占用的时间比列cpu_sum = $(echo " $cpu_us + $cpu_sy " | bc)echo $cpu_sum
``(反撇号) : 允许将执行某个命令的屏幕输出结果赋值给变量
bc : 支持小数运算
![](https://i-blog.csdnimg.cn/direct/3db38de6a6374223a7b27976f110aa67.png)
echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $0}'echo "A B C D" | awk '{OFS="|"; print $0;$1=$1;print $0}'A B C DA|B|C|D$1 = $1 是用来激活 $0 的重新赋值,也就是说字段 $1 ... 和字段数 NF 的改变会促使 awk 重新计算 $0 的值 , 通常是在改变 OFS 后而需要输出 $0 时这样做
print $0
打印原始行,使用新设置的字段分隔符。$1=$1
$1=$1是用来激活$0的重新赋值print $0
再次打印行,这次使用新设置的字段分隔符。echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $1,$2}'
echo "A B C D" | awk 'BEGIN{OFS="|"};{$2=$2;print $1,$2}'
![](https://i-blog.csdnimg.cn/direct/d39cfe2577ff47329cf075a98e1f504d.png)
![](https://i-blog.csdnimg.cn/direct/6bf8ae0c809340ac837960bc8c6a5c25.png)
14、AWK 数组
PS1:BEGIN
中的命令只执行一次
PS2:
awk
数组的下标除了可以使用数字,也可以使用字符串,字符串需要使用双引号
[root@localhost ~]
#awk 'BEGIN{a[0]=10;a[1]=20;print a[1]}'
[root@localhost ~]
#awk 'BEGIN{a[0]=10;a[1]=20;print a[0]}'
[root@localhost ~]
#awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["abc"]}'
[root@localhost ~]
#awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["xyz"]}'
[root@localhost ~]
#awk 'BEGIN{a["abc"]="aabbcc";a["xyz"]="xxyyzz";print a["xyz"]}'
15、AWK 循环
生产案列:
#
结合数组和
for
循环
[root@localhost ~]
# awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print
i,a[i]}}'
使用
awk
统计
httpd
访问日志中每个客户端
IP
的出现次数
?
答案
:
[root@localhost ~]
# awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}'
/var/log/httpd/access_log | sort -r
[root@localhost ~]
# awk '{ip[$1]++;}END{for(i in ip){print ip[i],i}}'
/var/log/httpd/access_log | sort -r
备注
:
定义数组,数组名称为
ip
,数字的下标为日志文件的第
1
列(也就是客户端的
IP
地址
)
,
++
的目的在于对
客户端进行统计计数,客户端
IP
出现一次计数器就加
1
。
END
中的指令在读取完文件后执行,通过循环将所有统
计信息输出,
for
循环遍历的是数组名
ip
的下标。
可用
awk
来统计固定格式日志里的一些数据,如日志中出现过所有不同的
IP
awk
对文件进行流处理,每次读取一行。
$1
就是
IP
,
count[i]
++
是将
IP
作为一个数组的下标,并且使得统计
这个
IP
所对应的数组元素自增
1.END
后面的语句是打印结果,只执行一次
awk
‘
{i
=
$1
;count[i]
++
}END{for(i
in
count)print(i,count[i])}’
/var/log/httpd/access_log
[root@localhost ~]
# awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i],
i);}'
#
日志文件
| sort -n | tail -n 10 #
用
tail
显示最后
10
行
[root@localhost ~]
# awk '/Failed password/ {print $0} ' /var/log/secure
[root@localhost ~]
# awk '/Failed password/ {print $11} ' /var/log/secure
[root@localhost ~]
# awk '/Failed/{ip[$11]++}END{for(i in ip){print i","ip[i]}}'
/var/log/secure
#
中断 几次
[root@localhost ~]
# awk '/Failed password/{ip[$11]++}END{for(i in ip){print
i","ip[i]}}' /var/log/secure
#
失败几次
脚本编写
#!/bin/ bash
x
=
`awk '/Failed password/{ip[
$1
1]++}END{for(i in ip){print i","ip[i]}}'
/var/log/secure`
#190.168.10.22 3
for
j
in
$x
do
ip
=
`echo
$j
| awk -F "," '{print
$1
}'`
num
=
`echo
$j
| awk -F "," '{print
$2
}'`
if
[
$num
-ge
3
];then
echo
"
警告
!
$ip
访问本机失败了
$num
次,请速速处理
!"
fi
done
试题
怎么提取版本号
1
.9.7
给你道面试题
ant-1.9.7.jar
ant-launcher-1.9.7.jar
antlr-2.7.7.jar
antlr-runtime-3.4.jar
aopalliance-1.0.jar
archaius-core-0.7.6.jar
asm-5.0.4.jar
aspectjweaver-1.9.5.jar
bcpkix-jdk15on-1.64.jar
bcprov-jdk15-1.46.jar
bcprov-jdk15on-1.64.jar
checker-compat-qual-2.5.5.jar
[root@localhost /]
#cat 1.txt |sed -r 's/.*-(.*)\.jar/\1/'
1
.9.7
1
.9.7
2
.7.7
3
.4
1
.0
0
.7.6
5
.0.4
1
.9.5
1
.64
1
.46
1
.64
2
.5.5
附加
需求
:1.txt
文件中的内容 帅选出第一列 第三列 并且打印为一行,同时需求两列内容相隔
2
个空格
zhangsan
20
江苏南京 汉族 内容 文件名称
1.txt
sed
-e
's/[[:space:]]/\n/g'
/root/text1.txt |
grep
-v
^
$
|tr
"\n" "_"
|
awk
-
F
'_' 'BEGIN{num=0;}{for(i=0;i<NF;i++){num=num+1}}END{for(x=1;x<num;x++){if(x==1)
{printf $x}else{printf "_"$x}} }'
6
、总结
grep
和
egrep
文本过滤
(
更适合单纯的查找或匹配文本
)
sed
流编辑器
实现编辑的
(
更适合编辑匹配到的文本
)
awk
文本报告生成器
实现格式化文本输出
(
更适合格式化文本,对文本进行较复杂格式处理
)