awk命令编辑

已于 2023-05-16 14:09:39 修改
阅读量928 收藏 1
点赞数 2
文章标签： linux
于 2023-05-15 21:06:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenx2022/article/details/130686446
版权

awk工作原理

逐行读取文本，默认以空格或tab键分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑作符“&&”表示“与”、“||”表示“或”、“！”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加 减 乘 除 取余和乘方。

命令格式：

awk 选项 '模式或条件 {操作}'   文件1  文件2 ...

awk  -f 脚本文件 文件1  文件2

awk常见的内建变量（可直接用）如下所示：

FS

列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与“-F”作用相同
NF当前处理的行的字段个数
NR当前处理的行的行号（序数）
$0当前处理的行的整行内容
$n当前处理行的第n个字段（第n列）
FILENAME被处理的文件名
RS行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是‘\n’

 按行输出文本

[root@cx ~]# awk '{print}' test 
one
two
three
four
five
six
seven
night
nine
ten
eleven
twelve

[root@cx ~]# awk 'NR==1,NR==3 {print}' test 输出第一行到第三行的内容
one
two
three
[root@cx ~]# awk '(NR>=1)&&(NR<=3) {print}' test   
one
two
three
[root@cx ~]# awk 'NR==1||NR==3 {print}' test 
one
three        输出第一行和第三行的行内容

[root@cx ~]# awk '(NR%2)==0{print NR,$0}' test 
2 two
4 four
6 six
8 night
10 ten
12 twelve      输出偶数行的行号和内容
[root@cx ~]# awk '(NR%2)==1{print NR,$0}' test 
1 one
3 three
5 five
7 seven
9 nine
11 eleven      输出奇数行的行号和内容

[root@cx ~]# awk '/^root/ {print $0}' passwd  以/root/开头的行内容
root:x:0:0:root:/root:/bin/bash
[root@cx ~]# awk '/bash$/ {print $0}' passwd  以/bash/结尾的行内容
root:x:0:0:root:/root:/bin/bash
cx:x:1000:1000:cx:/home/cx:/bin/bash
[root@cx ~]# awk '/\/bin\/bash$/ {print $0}' passwd 以/bin/bash/结尾的行内容
root:x:0:0:root:/root:/bin/bash
cx:x:1000:1000:cx:/home/cx:/bin/bash
[root@cx ~]# awk -F: '/^root/ {print $1}' passwd   输出以/root/开头的行的第1个字段
root
[root@cx ~]# awk -F: '/^root/ {print $3}' passwd   输出以/root/开头的行的第3个字段
0
[root@cx ~]# awk -F: '/^root/ {print $1,$3}' passwd 输出以/root/开头的行的第1和第3个字段
root 0
[root@cx ~]# awk -F: '/^root/ {print $1,$3,$NF}' passwd 输出以/root/开头的行的第1第3和最后一个字段
root 0 /bin/bash 
[root@cx ~]# awk -F: '/^root/ {print $1","$3","$NF}' passwd 用逗号分隔字段
root,0,/bin/bash

[root@cx ~]# grep -c "nologin$" passwd  过滤出以nologin结尾的行数
36
[root@cx ~]# awk '/nologin$/ {print $0}' passwd | wc -l 统计行数
36
[root@cx ~]# awk 'BEGIN {x=0}; /nologin$/ {x++}; END{print x}' passwd 
36 赋值一个变量0，每出现一个nologin结尾的行数自加1，最后打印输出x的值就是出现的行数
[root@cx ~]# awk 'BEGIN {x=0}; /nologin$/ {x++;print x,$0}; END{print x}' passwd 
1 bin:x:1:1:bin:/bin:/sbin/nologin


BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；
awk再处理指定的文本，之后再执行END模式中指定的动作，
END{}语句块中，往往会放入打印结果等语句

按字段输出文本

[root@cx ~]# awk -F: '$3<5 {print $0}' passwd  以：为分隔取第三个字段小于5的行打印行内容
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
ftp:123456
root:123456

[root@cx ~]# awk -F: '!($3>5) {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
ftp:123456
root:123456
取反 打印除了第三个字段大于5的行内容，即打印第三个字段小于5的行
[root@cx ~]# awk 'BEGIN {FS=":"};{if($3<=5) print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
ftp:123456
root:123456


先处理完BEGIN的内容，再打印文本里面的内容

[root@cx ~]# awk -F: '{max=($3>=$4)?$3:$4;{print$1, max}}' passwd 
root 0
bin 1
daemon 2
adm 4
lp 7
sync 5
shutdown 6
halt 7
mail 12
operator 11
games 100
ftp 50
nobody 99
systemd-network 192
#($3>$4)?$3:$4;三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max
[root@cx ~]# awk '{print}' test 
one
two
three
four
five
six
seven
night
nine
ten
eleven
twelve
[root@cx ~]# awk '$1~"o" {print}' test 
one
two
four
输出第1个字段中包含“o”的行的第1个字段

[root@cx ~]# awk -F: '$1~"root" {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
root:123456
[root@cx ~]# awk -F: '($1~"root")&&(NF==7) {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
[root@cx ~]# awk -F: '($1~"root")&&(NF==7) {print $1,$2}' passwd 
root x
#输出第1个字段中包含root且有7个字段的行的第1、2个字段

[root@cx ~]# awk -F: '!($1~"root")&&($NF=="/bin/bash") {print $0}' passwd 
cx:x:1000:1000:cx:/home/cx:/bin/bash
#输出第1个字段中不包含root且最后一个个字段是/bin/bash的行
[root@cx ~]# awk -F: '($1~"root")&&($NF!="/bin/bash") {print $0}' passwd 
root:123456
#输出第1个字段中包含root且最后一个字段不是/bin/bash的行
！表示取反

 通过管道、双引号调用 Shell 命令

以：分隔PATH变量的行数

[root@cx ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
[root@cx ~]# echo $PATH | awk 'BEGIN {RS=":"} {print NR,$0}'
1 /usr/local/sbin
2 /usr/local/bin
3 /usr/sbin
4 /usr/bin
5 /root/bin

设置行分隔符RS为冒号，打印输出

 内存使用百分比

[root@cx ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1963         708         195           4        1059        1046
Swap:          4095           8        4087
[root@cx ~]# free -m | awk '/Mem/ {print $3}'
708
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2}'
0.360672
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2"%"}'
0.360672%
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2 * 100}'
36.0672
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2 * 100"%"}'
36.0672%
[root@cx ~]# free -m | awk '/Mem/ {print ($2-$3)/$2 * 100"%"}'
63.9328%
  #查看当前内存使用百分比

进程查看 

 cpu空闲率

[root@cx ~]# top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print $1}'
93.8
[root@cx ~]# top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print 100-$1}'
6.2
[root@cx ~]# top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print 100-$1"%"}'
6.2%


#查看当前CPU空闲率，（-b -n 1 表示只需要1次的输出结果）

 挂载使用率

 date作用

[root@cx ~]# date
2023年 05月 15日 星期一 15:26:34 CST
[root@cx ~]# date +%Y%m%d
20230515
[root@cx ~]# date +%Y-%m-%d
2023-05-15
[root@cx ~]# date +%F
2023-05-15
[root@cx ~]# date +%D
05/15/23
[root@cx ~]# date +"%Y%m%d %H:%M:%S"
20230515 15:29:36
[root@cx ~]# date +"%Y%m01"
20230501
[root@cx ~]# date +"%Y%m%d"
20230515
[root@cx ~]# date -d "1 month" +"%Y%m%d"
20230615
[root@cx ~]# date -d "-1 month" +"%Y%m%d"
20230415
[root@cx ~]# date -d "-1 month" +"%Y%m01"
20230401
[root@cx ~]# date -d "1 month ago" +"%Y%m01"
20230401
[root@cx ~]# date -d "-1 month ago" +"%Y%m01"
20230601
[root@cx ~]# date -d "yesterday" +"%Y%m%d"
20230514



[root@cx ~]# date -d "$(date +%Y%m01) -1 day" +%Y%m%d
20230430  上个月最后一天
[root@cx ~]# date -d "$(date -d "1 month" +%Y%m01) -1 day" +%Y%m%d
20230531    这个月最后一天

显示系统上次重启时间

date -d      #显示字符串所指的日期与时间。字符串前后必须加上双引号

date +"%Y-%m-%d"      #注意 ：+ 和格式之间没有空格

常用格式：

%F：完整日期格式，等价于%Y-%m-%d

%Y：年份

%m：月份

%d：按月计的日期

%T：时间，等于%H:%M:%S

%H： 小时，24小时制（00~23）

%M：分钟

%S：秒

[root@cx ~]# date -d "$(cat /proc/uptime | awk -F. '{print $1}') second ago"
2023年 05月 15日 星期一 20:18:49 CST
[root@cx ~]# date -d "$(cat /proc/uptime | awk -F. '{print $1}') second ago" +"%Y%m%d %H:%M:%S"
20230515 20:18:49
[root@cx ~]# date -d "$( awk -F. '{print $1}' /proc/uptime) second ago" +"%Y%m%d %H:%M:%S"
20230515 20:18:49

getline的使用

当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，即隔行输出。然后将它打印出来。
当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

#当有重定向符号或 “|” 时，只会输出第1行
awk 'BEGIN {"cat a.txt" |getline; {print }}'
one
 
#当有重定向符号或 “|” 时，输出奇数行
cat a.txt | awk '{print $0;getline}'
one
three
five
seven
nine
eleven
#输出偶数行
cat a.txt | awk '{getline;print $0}'
two
four
six
eight
ten
twelve
[root@cx ~]# w
 20:49:50 up 31 min,  4 users,  load average: 0.00, 0.01, 0.05
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
root     :0       :0               20:19   ?xdm?  29.01s  0.19s /usr/libexec/gnome-session-binary --ses
root     pts/0    :0               20:20   29:32   0.05s  0.05s bash
root     pts/1    192.168.47.1     20:20    6.00s  0.10s  0.00s w
root     pts/2    192.168.47.1     20:35    8:38   0.04s  0.04s -bash
[root@cx ~]# awk 'BEGIN{n=0;while("w" | getline) n++; {print n-2}}'
4

FNR：awk当前读取的记录数，其变量值小于等于NR（比如当读取第二个文件时，FNR是从0开始重新计数，而NR不会）。
NR==FNR：用于在读取两个或两个以上的文件时，判断是不是在读取第一个文件
 

awk数组

#BEGIN中的命令只执行一次
awk 'BEGIN{a[0]=1;a[1]=2;a[2]=3;print a[2]}'
3
#awk数组的下标除了数字，还可以使用字符串，字符串需要使用双引号
awk 'BEGIN{a["q"]="aaa";a["m"]="bbb";a["y"]="ccc";print a["q"]}'
aaa
 
awk 'BEGIN{a["q"]=1;a["m"]=2;a["y"]=3;for(i in a){print i,a[i]}}'
y 3
m 2
q 1
[root@cx ~]# awk 'BEGIN{a[0]=1;a[1]=2;a[2]=3;for(i in a){print i,a[i]}}'
0 1
1 2
2 3

过滤文本中重复行数

cat b.txt
aaa
bbb
ccc
aaa
aaa
aaa
bbb
bbb
ccc
#将文本的内容作为数组下标，a[$1]++表示出现相同的行，就自加1
awk '{a[$1]++}END{for (i in a){print i,a[i]}}' b.txt
aaa 4
ccc 2
bbb 3

过滤访问本机密码输入失败的命令

#过滤密码输出错误的IP地址及输入次数
[root@cx log]# awk '/Failed password/{ip[$11]++}END{for(i in ip){print i,ip[i]}}' /var/log/secure
192.168.47.10 2
192.168.47.100 3

#过滤输入次数大于4次的IP地址
[root@cx log]# awk '/Failed password/{ip[$11]++}END{for(i in ip){print i,ip[i]}}' /var/log/secure | awk '$2>2{print $1}'
192.168.47.100

至尊宝啊
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux awk命令-文件内容编辑
weixin_44576709的博客
01-05 1333
F,：判定逗号“,”是分隔符，此时空格就不算分隔符了（除非同时指定逗号和空格都为分隔符），就算是被空格隔开的字符串也会被判定为同一列，如图只有第三行原本是用逗号隔开的，现在被打印出来了第1和第3个元素，其他行没有逗号，所以全部字母or数字和空格都判定为第一列并打印出来了。1、默认情况下awk识别列与列之间的空格为分隔符，可以通过参数-F更改分隔符的识别对象为其它符号，可以同时指定多个符号为分隔符。2、'{$1 $2}'和'{$1,$2}' 的中间可以是逗号或者空格，显示结果会有所不同，下面会有案例。
Linux-awk直接修改原文件
weixin_30797027的博客
12-21 1097
#注意:重定向符号后面的文件名需要加双引号 awk '{print > "file"}' file 转载于:https://www.cnblogs.com/JohnABC/p/6208192.html
awk直接对源文件进行修改
杰瑞的专栏
11-07 1万+
awk一般不能通过诸如下面的方式来处理 [root@host ~]# awk '{print $0}' data &gt; data 上面的处理源文件data中就是空文件。方法之一就是: [root@host ~]# awk '{print $0 &gt; "data"}' data 备注:  文件名用""来引以来...
linux awk把修改写入原文件中
热门推荐
JackLiu16的博客
01-08 1万+
原文件： [root@system1 ~]# cat test test word test word test word test word test word word test word hello test word nihao test word nihao test word hi test word test word test word test wor
linux awk 改写文件,批处理修改文件内容的问题，使用awk命令
weixin_34570232的博客
05-08 626
不会写awk，来一个perl的#!/usr/bin/env perluse utf8;use strict;use warnings;foreach my $file (@ARGV) {open (my $fh, 'open (my $oh, '>', $file.".out") or die "Can not open file $file.out : $!";while (my $li...
awk命令详解
09-14
AWK 是一个强大的文本分析工具，相对于 grep 的查找和 sed 的编辑，AWK 在其对数据分析并生成报告时，显得尤为强大。简单来说，AWK 就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析...
linux匹配命令awk、grep、sed简介
最新发布
04-12
grep的名字来自于ex编辑器，在编辑器中全局查找正则表达式的命令是g/RE/p grep家族有grep，egrep，fgrep。Linux使用的GNU grep，基本包含了上述三个grep命令 sed全称stream editor（流编辑器），是非交互式编辑器，...
一天一个shell命令 linux文本内容操作系列-awk命令详解
01-20
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk...
浅谈linux中sed命令和awk命令的使用
09-15
2. **awk命令**： - `awk`是一个更加强大的文本分析工具，它允许用户自定义字段分隔符，并可以执行复杂的条件判断和算术运算。 - **基础用法**：`awk '{print $1}' file`会打印文件file中的每行的第一个字段。 - ...
AWK文本并编辑
Breeze_nebula的博客
07-25 137
2、当getline左右有管道符号或重定向符时，getline则作用定向输入文件，由于文件是刚打开，并没有被awk读入一行，而只是getline读入，所以getline返回的是文件的第一行，而不是跳转至一行输入。1、当getline左右无重定向符号（“
unix shell awk 修改ini文件的脚本
06-29
临到要用的时候发现unix下面通常都是用c实现的ini文件操作，网上搜了半天没有现成可用的，真是郁闷，只好自己写了一个，这个程序是对INI文件进行修改的，其实只要删掉几句就变成了查找的了。
文件处理之Awk编辑工具
m0_59432158的博客
09-15 408
目录 前言 一、awk概述 二、awk工作原理 三、命令格式 四、案例 1、打印文本内容 2、按字段输出文本 3、处理命令输出的结果 五、Awk应用案例 总结 前言 Awk是一个功能强大的编辑工具，用于在linux/UNIX下对文本和数据进行处理。数据可以来自一个或多个文件，也可以为其他命令的输出，常作为脚本来使用。 一、awk概述 AwK是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编...
awk指定列修改
weixin_33913332的博客
11-02 688
遇到个处理文本文件的问题cat test.txt"355356" "1700870" "1" "0202" """355356" "1700871" "2" "" "02046""355356" "1700870" "" "2" "02046""1700870" "1700873" "" "1" "0202"把第2列是1700870的数据改为1700888起初我得想法是...
awk（输出文本指定内容）,sed（修改文件内容),at(计划将来的任务)，crontab(周期性作业),tuned(调优系统性能),ACL(控制对文件的访问)
swgzhy的博客
05-07 275
awk awk -F: ‘{print $1，$3}’ passwd | head #把第一个字段域和第三个字段域的内容输出，输入时用到的字段分隔符为： passwd不知道在哪？ 有两种passwd: /usr/bin/passwd(二进制乱码） /etc/passwd (我们需要看到的） cd /etc 格式化输出：printf “FORMAT”,item1,item2,… 　　1、必须指定FORMAT 　　2、不会自动换行，需要显式给出换行控制符\n； 　　3、FORMAT中需要分别为后面
AWK文本编辑器
wq962464的博客
11-05 791
原理 awk是一个强大的文本分析工具，j简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 使用 命令格式 awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file -F：指定输入分隔符，-f:调用脚本，-v:定义变量 ’ ’ 引用代码块 BEGIN 初始化代码块，在对...
文本编辑命令awk
kid00013的博客
04-21 911
目录 1.awk命令介绍 2.awk命令的工作原理 3.awk命令常用选项及操作 4.awk命令格式 5.awk命令实际使用 1.关键字定位 提取本机ip地址 指定分隔符定位，提取用户信息文件第一列 打印多列 2.运算符的使用 使用内建变量定位 输出第三行的内容 输出当前行最后一个字段 指定行范围 输出偶数行 输出奇数行 输出uid小于50的行 1.awk命令介绍 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 之所以叫 AWK 是因为其取了三...
记录 awk + sed替换文件内容的写法
daemonh
09-27 4345
一个shell脚本con.sh，根据输入参数，从a_file文件获取对应的字符串，用这个字符串替换b_file文件中某个字符串。 a_file #lang seq Lua 1 C++ 2 b_file Lang$SEQ 输入，con.sh Lua， 输出： Lang1 con.sh SEQ=`grep "\" a_f
Linux文本处理三剑客之awk报告生成器
qxdbb的博客
02-14 710
Linux文本处理三剑客之awk报告生成器 一，awk 1.概述 起源：20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk 之所以叫 AWK是因为其取了三位创始人 Alfred Aho，Peter weinberger, 和Brian Kernighan 的Family Name的首字符。 概述：AWK是一种处理文本文件的语言，是一个强大的文本分析工具。专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作，数据可以来自标准输入也可以是管道或文件 2.工作原理: 当读
shell脚本awk命令详解
04-11
b'shell'是一种计算机操作系统中的命令行解释器，它允许用户与操作系统交互。而'awk'是一种处理文本文件的命令，它可以帮助用户实现各种文件编辑和数据处理操作。通过将两者结合使用，可以更加高效地完成各种文本处理和数据分析任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值