awk编辑器

文章目录

一.awk概述

1.概述

awk 是一个功能强大的编辑工具,逐行读取输入文本,默认以空格或tab键作为分隔符作为分隔,并按模式或者条件执行编辑命令。
以空格做为分隔符,多个空格他会自动压缩成一个
主要特点:取行对列操作

2.作用

(1)按照命令找指定行

(2)对找到的行打印或其他操作,awk默认打印

(3)可以在无交互的情况下(不用进入真正的文件)实现相当复杂的文本操作,用于 Shell 脚本,完成各种自动化配置任务。

3.awk的工作过程

(1)先看BEGIN{action;… }这个模块是读取操作,读文件的所有行,所有读取完毕,然后一次执行

(2)END{action;… }打印,输出结果,对前面的结果条件判断,还可以用代码接着操作

4.awk 工作原理及命令格式

对行分成多个字段进行处理(切片),执行结果可以通过print的功能将字段数据打印显示

awk ’'

5.awk的基本操作及其内置变量

awk 选项 ’模式或条件(操作)‘文件1 文件2…

5.1 awk的-F操作

“分隔符” 指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符

5.2 awk的-v操作

var=value 变量赋值

注:一定是单引号:‘模式或条件 {操作}’

{ }外指定条件,{ }内指定操作。

用逗号指定连续的行,用 || 指定不连续的行。&&表示”且“。
awk {print $1,$2,$3}

5.3 内置变量

不能用双引号括起来,不然系统会把它当成字符串。

内置变量选项

选项注释
$0当前处理的行的整行内容 打印所有
$n当前处理行的第n个字段(第n列)
NR当前处理的行的行号(序数)
NF当前处理的行的字段个数。$NF代表最后一个字段
FS列分割符。指定每行文本的字段分隔符,输入内容的分隔符,默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:,用FS必须用=“”
OFS输出内容的列分隔符
FILENAME被处理的文件名
RS行分隔符。awk从文件中读取资料时,
将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录进行处理。预设值是"\n"

二.awk 打印

1.基本打印用法

1.1 默认打印

格式:awk ‘{print}’ 文件名

例:

awk '{print}' test.txt 
11
22
33
44

1.2打印文件内容

(1)0和1放置{ }前,能够起到限制打印内容的作用(默认为"1"),如果为0,就不打印内容

格式:awk ‘0{print}’ test.txt

awk ‘1{print}’ test.txt

例:

[root@test1 ~]# awk '0{print}' test.txt 
[root@test1 ~]# awk '1{print}' test.txt 
11  qq 55
22  ww   55
33 ee  66
44    rr   77

(2)awk ‘{print $0}’ test1.txt ----$0,代表整行内容;awk是逐行读取处理,配合$0,就是打印所有内容
$1只取第一列,可以对行切片,输出列

awk '{print $1}' test.txt ——————————打印文件的第一列
11
22
33
44

(3)对/etc/passwd 取第一列和第四列

awk -F: '{print $1,$4}' /etc/passwd
root 0
bin 1
daemon 2
adm 4
lp 7
sync 0
shutdown 0
halt 0

2.对行进行操作

2.1 只打印行号(有多少行)

awk '{print NR}' /etc/passwd      #列出有多少行数

2.2 打印行号和内容

awk '{print NR,$0}' /etc/passwd
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

2.3 只打印第几行

格式:awk ‘NR==第几行{print}’ 文件名

例:

awk 'NR==3{print}' /etc/passwd——指定打印出第三行的内容
daemon:x:2:2:daemon:/sbin:/sbin/nologin

2.4打印第几行到第几行

格式:awk ‘NR首打印行,NR末打印行{print}’ 文件名

例:

awk 'NR==3,NR==5{print}' /etc/passwd——打印3-5行的内容
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

可用正则表达式:

awk '(NR>=3)&&(NR<=5){print}' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

2.5 奇偶行打印

偶数行打印

awk 'NR%2==0{print NR,$0}' /etc/passwd
2 bin:x:1:1:bin:/bin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
8 halt:x:7:0:halt:/sbin:/sbin/halt
10 operator:x:11:0:operator:/root:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

奇数行打印

awk 'NR%2==1{print NR,$0}' /etc/passwd
1 root:x:0:0:root:/root:/bin/bash
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin

三.awk运算

1.整数运算加减乘除

[root@test1 ~]# awk 'BEGIN{print 20+30}'
50
[root@test1 ~]# awk 'BEGIN{print 20*30}'
600
[root@test1 ~]# awk 'BEGIN{print 20-30}'
-10
[root@test1 ~]# awk 'BEGIN{print 20/30}'
0.666667

2.小数加减乘除

[root@test1 ~]# awk 'BEGIN{print 10.23+12.11}'
22.34
[root@test1 ~]# awk 'BEGIN{print 10.23-12.11}'
-1.88
[root@test1 ~]# awk 'BEGIN{print 10.23*12.11}'
123.885
[root@test1 ~]# awk 'BEGIN{print 15/12.11}'
1.23865

3.取幂运算

[root@test1 ~]# awk 'BEGIN{print 2^3}'
8
[root@test1 ~]# awk 'BEGIN{print 2**3}'
8

四.getline

1.getline的工作过程

1.1 无重定向符号

当getline左右无重定向符号(“<”,“>”)或者管道符号(“|”)时,
awk首先读取的是第一行,而getline获取的是光标跳转至下一行的内容(也就是第二行)。

[root@test1 ~]# cat test.txt 
11  qq 55
22  ww   55
33 ee  66
44    rr   77
[root@test1 ~]# awk '{getline;print $0}' test.txt 
22  ww   55
44    rr   77

1.2 左右有管道符号或重定向符时

getline则作用定向输入文件,由于文件是刚打开,并没有被awk读入一行,
而只是getline读入,所以getline返回的是文件的第一行,而不是跳转至一行输入

原因:getline运行之后awk会改变NF,NR,$0,FNR等内部变量,所以此时读取$0的行号不再为1,而是2

[root@test1 ~]# awk '{getline < "test.txt";print $0 > "test1.txt";}' test.txt #将test的文件传送给test1文件中 
[root@test1 ~]# ls
anaconda-ks.cfg       ks.cfg     test.txt  模板  图片  下载  桌面
initial-setup-ks.cfg  test1.txt  公共      视频  文档  音乐
[root@test1 ~]# cat test1.txt 
11  qq 55
22  ww   55
33 ee  66
44    rr   77

五.文件内容匹配过滤打印

1.以什么为开头过滤打印

格式:awk ‘/^开头打印的字符/{print}’ 文件名

例:

awk '/^root/{print}' /etc/passwd————以root为开头打印
root:x:0:0:root:/root:/bin/bash

2.以什么为结尾过滤打印

格式:awk ‘/结尾的打印字符$/{print}’ 文件名

例:

awk '/nologin$/{print}' /etc/passwd————以nologin结尾打印
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

3.BEGIN END模式

格式:awk ‘BEGIN{…};{…};END{…}’ 文件
处理过程:
1、在awk处理指定的文本之前,需要先执行BEGIN{…}模式里的命令操作
2、中间的{…} 是真正用于处理文件的命令操作
3、在awk处理完文件后才会执行END{…}模式里的命令操作。END{ }语句块中,往往会放入打印结果等语句。

[root@test1 ~]# cat test.txt 
11  qq 55
22  ww   55
33 ee  66
44    rr   77
[root@test1 ~]# awk 'BEGIN{x=1};{x++};END{print x}' test.txt
5

对字段进行处理打印:

[root@test1 ~]# head -n5 /etc/passwd |awk  -F: '{print $1}' 
root
bin
daemon
adm
lp
[root@test1 ~]# head -n5 /etc/passwd |awk  -F: '{print $2}' 
x
x
x
x
x

4.-v的用法:变量赋值

将/etc/passwd中的第一列和第二列的中间替换为+
[root@test1 ~]# fs=":";awk -v FS=$fs -v OFS="+" '{print $1,$3}' /etc/passwd
root+0
bin+1
daemon+2
adm+3

fs的是:然后使用-v给FS赋值=:,输入的时候FS是:,-v给OFS赋值输出的时候变量为+,然后打印第一列和第三列

将/etc/passwd中的第一列和第二列的中间替换为==
[root@test1 ~]# awk -v FS=':' -v OFS='==' '{print $1,$3}' /etc/passwd
root==0
bin==1
daemon==2
adm==3
lp==4
sync==5
#默认就是换行输出,不需要改
[root@test1 ~]# echo $PATH | awk -v RS=':' '{print $1}'
/usr/local/sbin
/usr/local/bin
/usr/sbin
/usr/bin
/root/bin

六.awk的条件判断打印

1.打印第几列的数值大于多少的才打印

格式:awk -F: ‘第几列>大于的数值{print $0}’ /etc/passwd

例:

[root@test1 ~]# awk -F: '$3>500{print $0}' /etc/passwd    
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
libstoragemgmt:x:998:995:daemon account for 

[root@test1 ~]# awk -F: '$3<=10{print $0}' /etc/passwd    
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin

2.取反

取反,uid小于10的行,所有列

[root@test1 ~]# awk -F: '!($3>10){print $0}' /etc/passwd  
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin

3.条件判断

使用了if语句,内部条件(),外部条件{},整个加{}作为一条语句执行,相当于嵌套语法

[root@test1 ~]# awk -F: '{if ($3>500){print $0}}' /etc/passwd 
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
libstoragemgmt:x:998:995:daemon account for 

4.awk的三元表达式

4.1 格式

格式:awk ‘(条件表达式)?(A表达式或者值):(B表达式或者值)’

4.2 用法

[root@test1 ~]# awk -F: '{max=($3>=$4)?$3:$4;{print max,$0}}' /etc/passwd|sed -n '1,6p'————————比较passwd文件中以":"为分割的第三个和第四个字段的大小,
0 root:x:0:0:root:/root:/bin/bash
1 bin:x:1:1:bin:/bin:/sbin/nologin
2 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
7 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
5 sync:x:5:0:sync:/sbin:/bin/sync

max=($3>=$4)?$3:$4:这将变量 max 设置为输入行字段 3 和 4 之间的最大值。
? : 运算符是 if-else 语句的简写,因此此行等效于 if ($3 >= $4) { max=$3 } else { max=$4 }

取比较结果的最大值,赋值给变量max,并且输出max行的所有内容,然后打印其中的1-6行;

七.awk的精确筛选

1.常用选项

选项注释
$n(> < ==)用于对比数值
$n~“字符串”代表第n个字段包含某个字符串
$n!~“字符串”代表第n个字段不包含某个字符串
$n==“字符串”代表第n个字段为某个字符串
$n!=“字符串”代表第n个字段不为某个字符串
$NF代表最后一个字段

2.示例

2.1 代表第n个字段包含某个字符串

[root@test1 ~]# awk -F: '$7~"bash" {print $1,$NF}' /etc/passwd————输出第七个字段包含“bash”所在行的第一个字段和最后一个字段
root /bin/bash
zjf /bin/bash

2.2 代表第n个字段不包含某个字符串

输出第七个字段不包含“nologin”所在行的第一个字段和最后一个字段
[root@test1 ~]# awk -F: '$7!~"nologin" {print $1,$NF}' /etc/passwd
root /bin/bash
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
zjf /bin/bash

2.3 代表第n个字段为某个字符串

指定第六个字段为/home/zjf,第七个字段为/bin/bash,输出满足这些条件所在行的第一个和最后一个字段
[root@test1 ~]# awk -F: '($6=="/home/zjf")&&($7=="/bin/bash"){print $1,$NF}' /etc/passwd
zjf /bin/bash
指定第七个字段为/bin/bash 全部打印
awk -F: '$7=="/bin/bash" {print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
zjf:x:1000:1000:zjf:/home/zjf:/bin/bash

2.4 代表第n个字段不为某个字符串

代表第7字段不为/bin/bash的字符串全量打印
awk -F: '$7!="/bin/bash" {print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

八.awk结合数组运用

1.awk中定义数组打印

[root@test1 ~]# awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;print a[1]}' 
20

2.awk中的数组形成遍历

[root@test1 ~]# awk 'BEGIN{a[0]=10 ; a[1]=20 ; a[2]=30;for(i in a)print i,a[i]}'
0 10
1 20
2 30

3.处理文件去重统计

[root@test1 ~]# cat test2.txt
aaa
aaa
bbb
ccc
aaa
bbb
aaa 
[root@test1 ~]# awk '{a[$1]++};END{for(i in a){print i,a[i]}}' test2.txt
aaa 4
ccc 1
bbb 2

4.示例

4.1 简单的日志分割

[root@test1 ~]# awk '{print $1, $7, $9}' /var/log/messages
Jun software="rsyslogd" x-pid="706"
Jun Session of
Jun Session of

#在这个命令中,我们使用单引号将awk命令的操作包含起来。
$1、$7和$9是awk的内置变量,分别表示每行日志文件中的第1、第7和第9个字段。
通过使用print命令,我们将这些字段分别打印出来,以空格分隔。
最后,我们指定日志文件的路径/var/log/messages,awk会自动对文件中的每行进行处理并输出结果。

4.2 只分割前两行内容的第一个和第四个字段

[root@test1 ~]# awk 'NR<=2{print $1, $4}' /var/log/messages
Jun test1
Jun test1

4.3 取小数点几位和取整数

4.3.1 取小数点几位

格式:result=$(awk ‘BEGIN{printf “%.取几位数f”, 相乘数*相乘数}’)
例:

[root@test1 opt]# result=$(awk 'BEGIN{printf "%.2f", 2.331*2.542}')
[root@test1 opt]# echo $result
5.93

4.3.2 只取整数
[root@test1 opt]# result=$(awk 'BEGIN{printf "%.F", 2.331*2.542}') 
[root@test1 opt]# echo $result
6

5.提取默认文件的部分列输送到另一个文件中

提取test6.txt主机名后再放回host.txt文件

cat test6.txt | awk -F '[ .]+' '{print $2}' >> host.txt

在这里插入图片描述

6.统计磁盘

df | awk 'NR>1{x+=$3};END{print x}'
12902180

在这里插入图片描述

7.统计/etc下文件总大小

ls -l /etc | awk '/^-/{sum+=$5} END{print "文件总大小:"sum/1024"M"}'
文件总大小:976.46M

8.CPU使用率

在这里插入图片描述

9.统计内存

在这里插入图片描述

10.监控硬盘

[root@localhost home]# df -h | grep -w centos-root | awk '{print $5}'
16%
[root@localhost home]# a=$(df -h | grep -w centos-root | awk '{print $5}')
[root@localhost home]# echo $a
16%
[root@localhost home]# b=$(echo "$a" | sed 's/%//g')
[root@localhost home]# echo $b
16

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯甜酒z

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值