Linux中awk命令

于 2024-10-08 14:44:04 发布
阅读量1.1k 收藏 25
点赞数 23
分类专栏： linux 文章标签： linux 运维 awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40804558/article/details/142662243
版权

awk 是一个强大的文本处理工具和编程语言，专门用于处理和解析文本文件。它以行和列的形式处理文本，并提供了强大的模式匹配和报告生成能力。awk 得名于其创建者 Alfred Aho、Peter Weinberger 和 Brian Kernighan 的名字。

文章目录

基本语法

awk 'pattern { action }' file
  • pattern：可选的模式，用于匹配行。
  • action：对匹配行要执行的操作。如果未指定动作，awk 将默认打印所有匹配行。

常用选项

  • -F：指定输入字段分隔符。
  • -v：定义变量。
  • -f：从文件读取脚本。

基本操作

  1. 打印特定字段

    如果有一个文件 data.txt 的内容如下：

    Alice 30 female
Bob 25 male
Carol 28 female

    打印文件的第二列（年龄）：

    awk '{ print $2 }' data.txt

    输出：

    30
25
28

  2. 指定字段分隔符

    若文件内容为 CSV 格式：

    name,age,gender
Alice,30,female
Bob,25,male
Carol,28,female

    使用逗号作为字段分隔符并打印第一和第三列：

    awk -F ',' '{ print $1, $3 }' data.csv

    输出：

    name gender
Alice female
Bob male
Carol female

  3. 使用模式匹配

    仅打印年龄大于 26 的行：

    awk '$2 > 26 { print $1, $2 }' data.txt

    输出：

    Alice 30
Carol 28

  4. 使用内置变量

    打印行号：

    awk '{ print NR, $0 }' data.txt

    输出：

    1 Alice 30 female
2 Bob 25 male
3 Carol 28 female

常见模式和操作

  1. 条件语句

    使用条件语句进行复杂判断：

    awk '{ if ($2 > 25) print $1 " is older than 25." }' data.txt

  2. 累加和计算

    计算年龄的总和：

    awk '{ sum += $2 } END { print sum }' data.txt

    计算平均年龄：

    awk '{ sum += $2; count++ } END { print sum/count }' data.txt

  3. 输出格式化

    格式化输出：

    awk '{ printf "%-10s %s\n", $1, $2 }' data.txt

高级用法

  1. 从文件读取脚本

    将以下内容保存为 script.awk：

    {
    if ($2 > 26) {
        print $1 " is older than 26."
    }
}

    在命令行中调用：

    awk -f script.awk data.txt

  2. 使用变量

    awk -v age=30 '$2 > age { print $1 " is older than " age }' data.txt

  3. 报告生成

    生成简单的报告：

    awk -F ',' 'NR > 1 { age_sum += $2; count++ } END { printf "Average age: %.2f\n", age_sum/count }' data.csv

文件处理示例

示例 1: 统计文件中的行数
awk 'END { print NR }' data.txt
示例 2: 查找特定文本

查找包含 “female” 的行：

awk '/female/ { print $0 }' data.txt
示例 3: 计算字段总和

如果你有一个包含价格的文件 prices.txt：

10.5
20.0
15.75

计算总和：

awk '{ total += $1 } END { print total }' prices.txt

当然可以！下面是一些具体的 awk 实例，涵盖常见用法和复杂操作，以帮助你更好地理解和使用 awk。

示例 1: 打印特定字段

假设有一个文件 data.txt，内容如下：

Alice 30 female
Bob 25 male
Carol 28 female

  1. 打印第二列（年龄）：

    awk '{ print $2 }' data.txt

    输出：

    30
25
28

  2. 打印第一列（名字）和第三列（性别）：

    awk '{ print $1, $3 }' data.txt

    输出：

    Alice female
Bob male
Carol female

示例 2: 使用不同分隔符

假设有一个 CSV 文件 data.csv，内容如下：

name,age,gender
Alice,30,female
Bob,25,male
Carol,28,female
  1. 使用逗号作为字段分隔符，打印第一和第三列：
    awk -F ',' '{ print $1, $3 }' data.csv
    输出：
    name gender
Alice female
Bob male
Carol female

示例 3: 条件语句

  1. 打印年龄大于 26 的行：

    awk '$2 > 26 { print $1, $2 }' data.txt

    输出：

    Alice 30
Carol 28

  2. 打印性别为 ‘female’ 的行：

    awk '$3 == "female" { print $1 }' data.txt

    输出：

    Alice
Carol

示例 4: 使用内置变量

  1. 打印行号和行内容：

    awk '{ print NR, $0 }' data.txt

    输出：

    1 Alice 30 female
2 Bob 25 male
3 Carol 28 female

  2. 统计总行数：

    awk 'END { print NR }' data.txt

    输出：

    3

示例 5: 计算和平均值

  1. 计算年龄总和：

    awk '{ sum += $2 } END { print sum }' data.txt

    输出：

    83

  2. 计算平均年龄：

    awk '{ sum += $2; count++ } END { print sum/count }' data.txt

    输出：

    27.6667

示例 6: 输出格式化

  1. 格式化输出：
    awk '{ printf "%-10s %s\n", $1, $2 }' data.txt
    输出：
    Alice      30
Bob        25
Carol      28

示例 7: 查找特定文本

在文件 log.txt 中，假设内容如下：

INFO: User Alice logged in
ERROR: Bob failed to log in
INFO: Carol logged out
WARN: Bob takes too long to login

  1. 查找包含 ‘ERROR’ 的行：

    awk '/ERROR/ { print $0 }' log.txt

    输出：

    ERROR: Bob failed to log in

  2. 从每行提取用户的名字：

    awk '/User|failed/ { print $3 }' log.txt

    输出：

    Alice
Bob

示例 8: 复杂操作公式

  1. 计算各列的最大值（假设每一行有多个数值）：

    awk '{
    for (i=1; i<=NF; i++) {
        if ($i > max[i]) {
            max[i] = $i;
        }
    }
} END {
    for (i=1; i<=NF; i++) {
        print "Max for column " i ": " max[i];
    }
}' numbers.txt

  2. 统计每个用户的登录次数：

awk '{ count[$3]++ } END { for (user in count) print user ": " count[user] }' log.txt

示例 9: 使用用户名作为字段

将用户信息存储在 users.txt 中：

username:password:uid:gid:description
user1:pass1:1001:1001:User One
user2:pass2:1002:1001:User Two
user3:pass3:1003:1002:User Three
  1. 打印用户名和描述：
    awk -F ':' '{ print $1, $5 }' users.txt
    输出：
    username description
user1 User One
user2 User Two
user3 User Three

示例 10: 从文件读取脚本

如果你有一个脚本 script.awk，内容如下：

{
    if ($2 > 25) {
        print $1 " is older than 25."
    }
}

使用以下命令调用它：

awk -f script.awk data.txt

示例 11: 使用 -v 选项定义变量

awk -v threshold=25 '$2 > threshold { print $1 " is older than " threshold }' data.txt

示例 12: 结合其他命令

  1. 查找某个词并计算行数：

    grep "Alice" data.txt | awk '{ print $1 }'

  2. 统计文件中不同名字的数量：

    cut -d ' ' -f 1 data.txt | sort | uniq | wc -l

示例 13: 处理多个文件

假设有多个文件 data1.txt 和 data2.txt，共同格式如下：

cat data*.txt | awk '{ print $1, $2 }'  # 打印每个文件的前两列

示例 14: 通过 FIELDWIDTHS 使用定宽字段

如果文件 fixed_width.txt 是这样的：

Alice    30 female
Bob      25 male
Carol    28 female

可以使用FIELDWIDTHS来处理固定宽度的字段：

awk 'BEGIN { FIELDWIDTHS = "10 3 6" } { print $1, $2 }' fixed_width.txt

示例 15: 输出到文件

将计算结果输出到文件：

awk '{ print $1, $2 }' data.txt > output.txt

总结

awk 是一个强大且灵活的文本处理工具。无论是简单的列提取，还是复杂的数据处理和报告生成，awk 都能高效地完成。

湖光秋色
关注
专栏目录
linux awk 命令使用详解
congge
07-10 2万+
awk 命令使用详解
Linux命令大全之awk 命令
m0_37449634的博客
06-27 411
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
Linux三剑客awk
qq_52804302的博客
07-05 154
Linux三剑客awk awk是一个强大的linux命令，有强大的文本格式化的能力，好比将一些文本数据格式化成专业的excel表的样式 awk早期在Unix上实现，我们用的awk是gawk，是GUN awk的意思 awk更是是一门编程语言，支持条件判断、数组、循环等功能 再谈三剑客 grep，擅长单纯的查找或匹配文本内容 sed，更适合编辑、处理匹配到的文本内容 awk，更适合格式化文本内容...
【linux】awk命令
m0_45406092的博客
04-10 1343
BEGIN 是 AWK 的关键字，因此它必须是大写的。不过，请注意，开始块部分是可选的，你的程序可以没有开始块部分。在 do-while 循环中，无论条件是真是假，循环语句至少执行一次，执行后检查条件真假。在主体块中，AWK 每读入一行就将读入的内容输出至标准输出流中，一直到整个文件被全部读入为止。Do-While 循环与 While 循环相似，但是 Do-While 的条件测试放到了循环的尾部。默认情况下，AWK 命令是针对于每一行输入，但是我们可以将其限制在指定的模式中。此变量表示当前记录的行号。
Linux awk命令详解
最新发布
2401_84153193的博客
05-03 745
这份文档从构建一个键值数据库的关键架构入手，不仅带你建立起全局观，还帮你迅速抓住核心主线。除此之外，还会具体讲解数据结构、线程模型、网络框架、持久化、主从同步和切片集群等，帮你搞懂底层原理。相信这对于所有层次的Redis使用者都是一份非常完美的教程了。你的支持，我的动力；祝各位前程似锦，offer不断！！！《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！态为LISTEN和CONNECT的连接数量分别是多少应用6。
Linux - awk命令详解
热门推荐
qq_48391148的博客
07-10 6万+
目录1. awk命令1.1 awk工作原理1.2 awk语法1.2.1 awk完整语法示例：1.2.1 awk工作流程1.3 指定分隔符1.3.1 -F 指定分隔符1.3.2 指定输出分隔符2. free命令2.1 free命令各项含义 2.1.1 什么时候会使用交换分区？2.1.2 内核参数优化2.2 常用选项-m 以M为单位显示内存的使用情况-h 以人类能读懂的格式显示3.0 awk各种组合运用3.1 awk进行计算3.2 awk命令的引用shell变量 3.3
linux中awk命令
03-16
awk命令是一种文本处理工具，可以用于对文本文件进行分析和处理。它可以根据指定的规则对文本进行分割、过滤、格式化等操作，非常...awk命令的语法比较灵活，可以根据需要进行定制，是Linux系统中非常常用的命令之一。
Linux中awk命令的使用
lgc646300052的博客
06-12 483
awk命令语法 awk 参数 '{要执行的操作}' filename 参数 含义 -F 分割字符串 要执行的操作里面可以使用if, for, 正则表达式 awk内置变量 变量 含义 NR 当前行号 NF 当前行分隔出了多少列 示例 普通打印 awk -F ',' '{print $1}' debug.log -F ‘,’ 表示每一行用逗号分隔 ‘{print $1}’ 表示打印出每行的第一列 带格式的打印 awk -F ',' '{printf("%s\n
linux之awk命令的用法
09-04
`awk`是Linux环境中强大的文本处理工具，尤其适用于处理结构化的数据文件。它通过分析文本文件中的每一行，根据指定的规则对数据进行操作。...学习和掌握`awk`命令对于Linux系统管理和数据分析工作非常有帮助。
Linux 中awk 提取包含某个关键字的段落
01-20
本文将使用命令awk将具有某个关键字的段落提取出来。 准备数据 Finalizer #3 daemon prio=8 os_prio=0 tid=0x00007fb2dc1aa800 nid=0x63f6 in Object.wait() [0x00007fb2be61f000] java.lang.Thread.State: ...
Linux awk命令
菜鸟记录
11-19 497
⏹Linux awk命令
Linux之awk命令
月月鸟呀的博客
12-13 5062
目录 一、awk基础语法 1.1 主要用法 1.2 awk内置变量 1.3 过滤时机 二、awk基础应用案例 三、awk条件判断 3.1 正则表达式 3.2 数值、字符比较 3.3 逻辑比较测试 3.4 运算符 四、awk流程控制 4.1 if语句 4.2 for循环 五、awk数组与应用案例 六、awk综合案例 6.1 ss命令 6.2 过滤连接状态 注:/etc/passwd内容 一、awk基础语法 创造者：Aho、Weinberger、Kernighan ...
linux中awk命令(最全面秒懂）
一个懒鬼的博客
12-05 3万+
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符linux中有三剑客之称：三剑客之首就是 AWK三剑客功能:grep ： 过滤文本sed : 修改文本awk : 处理文本$0 : 代表当前行(相当于匹配所有)$n : 代表第n列案例1:(以:为分隔符)案例2:(默认空格为分隔符)
linux awk命令详解
洛冰翼的专栏
10-16 988
转自:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html 简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: a
linux中awk命令是什么,Linux awk命令详解
weixin_33945759的博客
05-12 1122
awk 是除了 sed 命令之外，Linux 系统中另一个功能比较强大的数据处理工具。和 sed 命令类似，awk 命令也是逐行扫描文件(从第一行到最后一行)，寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；否则不对行做任何处理。awk 在读取文件内容的每一行时，将对比该行是否与给定的模式相匹配，如果匹配，则执行处理过程，否则对该行不做任何处理。如果没有指定处理脚本，则把匹配的...
linux awk命令
wdt3385的专栏
09-25 899
转自：http://blog.csdn.net/loyeyi/article/details/7634387 回到全局目录 ------------------------------------------------ 目录 简介 1 命令格式&说明 2 调用方法 3 域切分&操作 3 正则匹配 4 内置变量&操作 5 内置函数&操作 6 格式化输出 7 数组
awk
diaohuqiao7206的博客
09-16 123
awk认知 awk 执行模式 所需文件： 1.pattern { action } $3 == 0 { print $1 } //awk '$3 >0 { print $1, $2 * $3 }' emp.data //awk '$3 == 0 { print $1 }' file1 file2 基础输出print，字段数量...
Linux的awk命令
bzd_111的专栏
06-09 963
awk是一个程序，同时又是一种编程语言，通过是用他可以创建简单的报表，分析数据，log文件，处理文本文件等。 1.awk命令行语法如下： awk 'script' files #其中script是awk指定的文件， #files是awk处理的文件，可以是一个也可以是多个 #awk会一行一行的处理文件，将一行文件用分隔符（默认是空格），分隔成一个一个字符串，第一个字段是$1, POSIX
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值