awk学习笔记

已于 2023-12-06 10:31:07 修改
阅读量74 收藏
点赞数
文章标签： linux
于 2023-08-30 13:57:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52459798/article/details/132580957
版权

Awk学习笔记

高级用法

  • 文本

    cp /etc/passwd ./passwd.txt
# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin
irc:x:39:39:ircd:/run/ircd:/usr/sbin/nologin
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/usr/sbin/nologin
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
_apt:x:100:65534::/nonexistent:/usr/sbin/nologin
systemd-network:x:101:102:systemd Network Management,,,:/run/systemd:/usr/sbin/nologin
systemd-resolve:x:102:103:systemd Resolver,,,:/run/systemd:/usr/sbin/nologin
messagebus:x:103:104::/nonexistent:/usr/sbin/nologin
systemd-timesync:x:104:105:systemd Time Synchronization,,,:/run/systemd:/usr/sbin/nologin
pollinate:x:105:1::/var/cache/pollinate:/bin/false
sshd:x:106:65534::/run/sshd:/usr/sbin/nologin
syslog:x:107:113::/home/syslog:/usr/sbin/nologin
uuidd:x:108:114::/run/uuidd:/usr/sbin/nologin
tcpdump:x:109:115::/nonexistent:/usr/sbin/nologin
tss:x:110:116:TPM software stack,,,:/var/lib/tpm:/bin/false
landscape:x:111:117::/var/lib/landscape:/usr/sbin/nologin
fwupd-refresh:x:112:118:fwupd-refresh user,,,:/run/systemd:/usr/sbin/nologin
usbmux:x:113:46:usbmux daemon,,,:/var/lib/usbmux:/usr/sbin/nologin
user:x:1000:1000:root:/home/user:/bin/bash
lxd:x:999:100::/var/snap/lxd/common/lxd:/bin/false
bind:x:114:119::/var/cache/bind:/usr/sbin/nologin
Awk基本语法结构
awk 'BEGIN { initialization } pattern { action } END { finalization }' file.txt

  • BEGIN 块（可选）：在处理输入之前执行一次的初始化操作，例如设置变量的初始值。

  • pattern：模式，用于匹配输入中的特定行。

  • action：动作，在匹配的行上执行的操作。

  • END块（可选）：在处理输入完毕后执行一次的收尾操作，例如输出最终结果。

模式和动作的使用

  • 模式：用于匹配特定的行或条件，可以使用正则表达式、关系表达式等。

  • 动作：在匹配行上执行的操作，可以是打印、赋值、计算等。

    # 示例：打印包含"pattern"的行
awk '/pattern/ { print }' passwd.txt

  • 打印行号及行内容

    awk  '{print NR,$0}' passwd.txt

  • 打印以root开头的行

    awk -F: '/^root/{print}' passwd.txt

  • 打印以bash结尾的行

    awk -F: '/bash$/{print}' passwd.txt

  • 打印第3列值<500的行

    awk -F: '$3<500{print}' passwd.txt

  • 打印第3列值>500&&<1000的行

    awk -F: '$3>500&&$3<1000{print}' passwd.txt

  • 打印偶数行并显示行数

    awk 'NR%2==0{print NR,$0}' passwd.txt

  • 打印奇数行并显示行数

    awk 'NR%2!=0{print NR,$0}' passwd.txt

  • 统计行数

     awk 'BEGIN{x=0} {x++} END {print x}' passwd.txt
内置变量
  • NR：当前行的行号。
  • NF：当前行的字段数。
  • $0：当前行的内容。
  • $1、$2、$3 等：当前行的第一个、第二个、第三个字段等。
内置函数

  • length(str)：返回字符串的长度。

    awk 'BEGIN { str = "Hello, World!"; len = length(str); print len }'
# 输出: 13

  • substr(str, start, length)：返回字符串的子串。

    awk 'BEGIN { str = "Hello, World!"; sub = substr(str, 1, 5); print sub }'
# 输出: Hello

  • index(str, substr)：返回子串在字符串中的位置。

    awk 'BEGIN { str = "Hello, World!"; pos = index(str, "World"); print pos }'
# 输出: 8

  • split(str, array, sep)：将字符串拆分为数组元素。

    awk 'BEGIN { str = "apple,banana,orange"; split(str, fruits, ","); print fruits[2] }'
# 输出: banana

  • toupper(str)：将字符串转换为大写。

    awk 'BEGIN { str = "Hello, World!"; upper = toupper(str); print upper }'
# 输出: HELLO, WORLD!

  • tolower(str)：将字符串转换为小写。

    awk 'BEGIN { str = "Hello, World!"; lower = tolower(str); print lower }'
# 输出: hello, world!

  • int(x)：返回不大于x的最大整数。

    awk 'BEGIN { x = 4.7; result = int(x); print result }'
# 输出: 4

  • 说明

    !a[$0]++ 的含义是：
判断行的值是否已经存在于数组a中,如果不存在，则将该字段添加到数组中，并将其值加1

a[$0]++的含义是：
将第行的值作为数组a的键，然后将该键对应的值加1

  • 去除重复行

    # 以第7列为基准去除重复行
awk -F: '!a[$7]++{print $7}'  passwd.txt

# 输出
/bin/bash
/usr/sbin/nologin
/bin/sync
/bin/false

  • 利用awk找出文本中空白行并统计行数

    awk '/^$/{sum++}END{print sum}' file

  • 统计重复行次数

    # 统计文件中不同单词的出现次数
awk -F: '{!count[$7]++} END {for(i in count) print i, count[i]}' passwd.txt
或者
awk -F: '{ count[$7]++ } END { for (i in count) print i, count[i] }' passwd.txt
# 输出
/bin/sync 1
/bin/bash 2
/bin/false 3
/usr/sbin/nologin 29

  • 条件语句和循环结构：Awk支持if-else语句和for循环，可实现更复杂的逻辑操作。

    # 计算文件中大于平均值的数的个数
awk '{ sum += $1;v[$1]++} END { avg = sum / NR; for(i in v) if(i>avg) count++; print count,sum,avg }' numbers.txt

  • 使用函数：除了内置函数，Awk还可以定义自定义函数，以便重复使用特定的操作。

  • 将字符串反转并返回

    
function reverse_str(str) {
   result = ""
   for (i = length(str); i > 0; i--)
      result = result substr(str, i, 1)
   return result
}
# 逐行处理
{
	reversed = reverse_str($0)
	print reversed
}


# 执行
awk -f reverse_str.awk passwd.txt

  • 字符串拆分为数组元素

    function split_str(str,array,sep) {
     return split(str,array,sep)
}
# 逐行处理
{
    split_str($0,array,":")
    print array[2]
}

# 执行
awk -f split_str.awk passwd.txt

  • awk格式化输出printf

    %s:     字符占位符
%d:     数字占位符
%.2f：  小数占位符
%-s :   左对齐
%+s :   右对齐

  • 案例

    awk 'BEGIN{FS=":"}{printf "%s\n",$1}' passwd

awk 'BEGIN{FS=":"}{printf "%20s" "%20s\n",$1,$7}' passwd

awk 'BEGIN{FS=":"}{printf "%-20s" "%-20s\n",$1,$7}' passwd

awk 'BEGIN{FS=":"}{printf "%d\n",$3}' passwd

  • 求平均数案例

    ##文本
cat student.txt
Allen  90 80 77 85
Joe    88 76 89 92
Rose   76 98 99 100
Jack   89 70 95 80

awk '{total=$2+$3+$4+$5;Avg=total/4}{printf "%-10s%-8d%-8d%-8d%-8d%-0.2f\n",$1,$2,$3,$4,$5,Avg}' student.txt

awk 'BEGIN{printf "%-10s%-8s%-8s%-8s%-8s%-8s\n","Name","Math","English","Chinese","Physical","Avg"}{total=$2+$3+$4+$5;Avg=total/4}{printf "%-10s%-8d%-8d%-8d%-8d%-0.2f\n",$1,$2,$3,$4,$5,Avg}' student.txt
awk条件语句
  • 打印passwd文件第3列大于50小于100的值
    awk 'BEGIN{FS=":"}{if($3>50 && $3<100) print $0}' /etc/passwd
  • awk文件形式
    # script.awk

BEGIN{
    FS=":"
}
{
    if($3<50)
    {
        printf "%-28s%-25s%-5d\n","小于50的uid",$1,$3
    }
    else if($3>50 && $3<100)
    {
        printf "%-25s%-25s%-5d\n","大于50且小于100的uid",$1,$3
    }
    else
    {
        printf "%-28s%-25s%-5d\n","大于100的uid",$1,$3
    }
}
  • 引用 script.awk
    awk -f script.awk /etc/passwd
awk循环语句

  • while 循环

    # cat while.awk

BEGIN{

    while(i<=100)
    {
        
        sum+=i
        i++
    }
    print sum

}

  • do while 循环

    # 语法
do 
  {
   动作
  }while(条件表达式)
 
# do_while.awk

BEGIN{
    do
    {  
        sum+=i
        i++
    }while(i<=100)
    print sum
}

  • for 循环

    # 语法
for(i=0;i<=100;i++)
{
	动作
}
# for.awk 
BEGIN{
    for(i=0;i<=100;i++)
    {
        sum+=i
    }
    print sum
}

  • awk案例
    需求：给表格添加表头，并新增Avg列，打印平均成绩>85的列,求出满足条件的成绩和

    cat> student.txt<<EOF
Allen  90 80 77 85
Joe    88 76 89 92
Rose   76 98 99 100
Jack   89 70 95 80
EOF

    BEGIN{
        printf "%-10s%-10s%-10s%-10s%-10s%-10s\n","Name","Math","English","Chinese","Physical","Avg"
    }
    {
        total=$2+$3+$4+$5
        Avg=total/4
        if(Avg>85)
        {
            printf "%-10s%-10d%-10d%-10d%-10d%-0.2f\n",$1,$2,$3,$4,$5,Avg
            # 每遍历一行保留一个值
            score_math+=$2
            score_english+=$3
            score_chinese+=$4
            score_physical+=$5
        }
}
END{
        printf "%-10s%-10d%-10d%-10d%-10d\n","",score_math,score_english,score_chinese,score_physical   
}
# 输出
Name      Math      English   Chinese   Physical  Avg
Joe       88        76        89        92        86.25
Rose      76        98        99        100       93.25
          164       174       188       192
字符串函数

  • 内置

    length(str): 计算长度 
index(str1,str2): 返回在str1中查询到的str2的位置 
tolower(str): 小写转换 
toupper(str): 大写转换 
split(str,arr,fs): 分隔字符串，并保存到数组中 
match(str,RE): 返回正则表达式匹配到的子串的位置 
substr(str,m,n): 截取子串，从m个字符开始，截取n位。n若不指定，则默 
sub(RE,RepStr,str): 替换查找到的第一个子串 
gsub(RERepStr,str): 替换查找到的所有子串

  • 以:为分隔符，返回/etc/passwd中每行中每个字段的长度

    # simple_1.twk
BEGIN{
    FS=":"
}
{
    i=1
    while(i<=NF)
    {   
        if(i==NF)
            printf "%d",length($i)
        else
            printf "%d:",length($i)
        i++
    }
    print ""

}

  • 搜索字符串"I have a dream"中出现"ea"字符串的位置

    awk 'BEGIN{str="I have a dream";location=index(str,"ea");print location}'

  • 将字符串"Hadoop is a bigdata Framawork"全部转换为小写

    awk 'BEGIN{str="Hadoop is a bigdata Framawork";low_str=tolower(str);print low_str}'

  • 将字符串"Hadoop is a bigdata Framawork"全部转换为大写

    awk 'BEGIN{str="Hadoop is a bigdata Framawork";up_str=toupper(str);print up_str}'

  • 将字符串"Hadoop Kafka Spark Storm HDFS YARN Zokeeper"，按照空格为分隔符，分隔每部分保存到数组中

    awk 'BEGIN{str="Hadoop Kafka Spark Storm HDFS YARN Zokeeper";split(str,arr," ");for(a in arr) print arr[a]}'

  • 搜索字符串"Tranction 2345 Start:Select*from master"第一个数字出现的位置

    awk 'BEGIN{str="Tranction 2345 Start:Select*from master";location=match(str,/[0-9]/);print location}'

  • 截取字符串"transaction start"的子串，截取条件从第4个字符开始，截取5位

    awk 'BEGIN{str="transaction start";print substr(str,4,5)}'

  • 替换字符串"Tranction 243 Start,EventID:9002"中第一个匹配到的数字串为$符号

    awk 'BEGIN{str="Tranction 243 Start,EventID:9002";sub(/[0-9]+/,"$",str);print str}'
qq_52459798
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【应急响应】-Linux 篇
Zt_Zk的博客
08-27 800
发现问题要处置，遵循原则：百分百确认是非法文件，报备记录关停，摸棱两可找负责人确认，处置看沟通结果
awk 学习笔记
yaozhiyi的专栏
03-05 2239
本文参考的是 ubuntu 下 gawk version 3.1.6 以及 《sed&awk》 一 . awk 简介 awk 是一种解释型(tawk除外)文本处理语言 二 . awk 如何运作 命令行参数 shell 会预处理命令行，获得命令行参数(其中包括命令名)，之后启动命令并向它传递剩余的参数。 系统变量ARGV: 一个关联数组，存放命令行参数，数组下标从0到ARGC-1，ARGV[0]的值为awk 系统变量ARGC: 命令行参数的个数 ARGV 的元素不包含AWK的选项和脚
Linux学习笔记-Ubuntu系统用户、群组、权限管理
向往的是：佛祖堂前的鱼，静静听禅。
09-09 3711
本文记录Ubuntu系统下通过命令操作用户账户进行管理。查看系统版本号的指令如下uname -a刚装完的ubuntu系统，root账户的密码是随机生成，每次开机都会随机生成一个密码，我们客户根据自己的需要设置root账户密码，毕竟管理Ubuntu系统，大部分需要用到root权限。
容器学习Day15-Docker容器底层实现技术
AtobeKegio的博客
06-11 651
Docker 的底层原理是利用了 Linux 的 Namespace 和 Cgroups 技术，通过 Namespace 技术实现进程隔离，通过 Cgroups 技术实现容器进程可用资源的限制。Namespace 是 Linux 内核提供的一个特性，namespace 将内核的全局资源进行封装，使得每个 namespace 都有一份独立的资源，因此不同进程在各自的 namespace 内对同一种资源的使用不会相互干扰。
Qweasd - hackmyvm
tanbinn的博客
05-16 257
hackmyvm的Qweasd靶场
Hack The Box——Tabby
热门推荐
江左盟的博客
07-14 1万+
简介 信息收集 使用nmap快速扫描端口，如图： 查看80端口web服务，如图： 发现一个地址，添加到hosts文件， 漏洞发现 尝试读取/etc/passwd 尝试使用相对路径 /etc/passwd root:x:0:0:root:/root:/bin/bash daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3..
AWK学习笔记(一)
dai__liang的博客
06-09 710
awk是一款很强大的文本处理工具，他把所要处理的字符串 按行 读入到内存进行分段处理。默认情况下是以空格或者tab作为分隔符，对每个分段都分配一个名字，第1部分用$1表示，第2部分用$2表示以此类推，整行内容用$0表示，具体如下： Have a nice day $1 $2 $3 $4 如果想对哪部分进行操作的话，直接用$n（n是数字）指定就可以了，这里的的操作一般是指print （自动换行)。printf则不会自动换行。 awk的基本语法：awk ‘{pr.
Awk学习笔记
05-31
1. awk简介 2. awk命令格式和选项 2.1. awk的语法有两种形式 2.2. 命令选项 3. 模式和操作 3.1. 模式 3.2. 操作 4. awk的环境变量 5. awk运算符 6. 记录和域 6.1. 记录 6.2. 域 6.3. 域分隔符 7. gawk专用...
linux awk学习笔记
01-11
`awk`的学习需要结合实际案例进行，通过编写和运行脚本来熟悉其用法和功能。 总结，`awk`是Linux文本处理的重要工具，其灵活性和强大的功能使其在数据分析、日志分析等领域有着广泛的应用。通过深入学习和实践，...
[Linux]在Ubuntu中安装samba并且正确配置（详细）
c858845275的博客
08-23 705
讲述了samba的安装配置与连接以及最基本的错误解决办法。
Linux 线程的控制 互斥与同步
qq_63145217的博客
08-23 603
include //头文件sem_t sem;信号量的类型 信号量的变量。
多进程和多线程基础概念LINUX
2301_79109608的博客
08-22 907
直接访问物理地址,会导致地址空间没有隔离,很容易导致数据被修改通过虚拟地址空间可以实现每个进程空间都是独立的，操作系统会映射到不用的物理地址区间，在访问时互不干扰.进程状态分为三个基本状态，即运行态，就绪态，阻塞态。在五态模型中，进程分为新建态、终止态，运行态，就绪态，阻塞态。并发：有限的 cpu 核芯的情况下 ,利用快速交替(时间片轮转)执行来达到宏观上的同时执行。虚拟地址 : 虚拟地址并不代表真实的内存空间,而是一个用于寻址的编号。并行：在 cpu 多核的支持下，实现物理上的同时执行。
Linux中信号量相关接口及环形队列
2301_77479435的博客
08-22 239
Linux中信号量相关接口及环形队列
windows上传的文本在linux执行不了，格式转换
mengbing1990的博客
08-19 313
在windows编辑的文件脚本上传到linux里面执行不了，进行格式转换
Linux 实用运维sh脚本分享
08-22 190
【代码】Linux 实用运维sh脚本分享。
linux查询目录文件基础操作
qq_43826626的博客
08-22 207
ls -l。
Linux | 进程优先级&进程的环境变量
最新发布
TTKunn的博客
08-23 813
本文主要内容为进程的优先级和进程的环境变量，其中含有查看进程、优先级概念、环境变量概念等详细内容
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值