Shell中的awk

awk命令详解与实战应用
最新推荐文章于 2025-09-04 20:08:54 发布
原创 最新推荐文章于 2025-09-04 20:08:54 发布 · 1.9k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维

本文详细介绍了awk的工作原理，包括其逐行处理、字段分割及内建变量的使用，如$0、NR、$n、FS、OFS、NF、RS等。awk命令格式和常见操作如模式匹配、条件判断也进行了阐述。通过实例展示了awk在处理行内容、统计、字段筛选等方面的应用。同时，简单提及了date命令的日期格式化输出。文章适合对awk感兴趣的Linux系统管理员和程序员阅读。

目录

1、awk工作原理

2、awk命令格式

3、awk常见的内建变量（可以直接使用）

3.1$0 当前处理的行的整行内容

3.2NR 处理指定行内容

3.2.1 使用数字处理行内容

3.2.2使用字符串处理行内容

3.2.3打印行号

3.3 $n 当前处理行的第n个字段

3.4 FS(-F)列分割符,指定每行文本的字段分隔符

3.5 OFS输出内容的列分隔符

3.6 NF当前处理的行的字段个数

3.7 RS行分隔符

4、awk实例：

5、date命令

1、awk工作原理

  • 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
  • awk倾向于将一行分成多个"字段"然后再进行处理。
  • awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
  • 使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

2、awk命令格式

awk 选项 '模式或条件 {操作}' 文件1 文件2 ....

或者
awk -f 脚本文件 文件1 文件2 .....

3、awk常见的内建变量（可以直接使用）

内建变量作用
$0当前处理的行的整行内容
NR当前处理的行的行号(序数)
$n当前处理行的第n个字段(第n列)
FS

列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

OFS输出内容的列分隔符
NF

当前处理的行的字段个数      $NF代表最后一个字段

FILENAME被处理的文件名
RS

行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是'\n '

3.1$0 当前处理的行的整行内容

3.2NR 处理指定行内容

3.2.1 使用数字处理行内容

3.2.2使用字符串处理行内容

3.2.3打印行号

使用BEGIN输出包含指定字符的行并统计有多少行  

awk 'BEGIN{ ..};{..} ;END{.. .}' 文件
  • BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;
  • awk再处理指定的文本，之后再执行END模式中指定的动作；
  • END{ } 语句块中，往往会放入打印结果等语句。
awk 'BEGIN{x=0};/\/bash$/{x++};END {print x}' /etc/passwd
统计以/bin/bash 结尾的行数，等同于grep -c "/bash$"

 以:为行分隔符，进行统计行号

3.3 $n 当前处理行的第n个字段

$n ~ "字符串"   代表打印出第n个字段中包含某字符的行
$n =="字符串"   代表打印出第n个字段中为某字符串的行

$n != "字符串"   代表打印出第n个字段中不为某字符的串行

示例：

#打印出第一字段中包含root的行中的第一列于第3列

awk -F: '$1~"root"{print $1,$3} ' /etc/passwd

3.4 FS(-F)列分割符,指定每行文本的字段分隔符

awk -F 分隔符 '{操作}'

 与！一起使用

 与if语句或者while或三目运算符等一起使用时需要再嵌套一个大括号{ }

三元运算符：

(条件表达式)?(A表达式或者值）:(B表达式或者值)

条件表达式成立为真时会取:号前面的A的值

条件表达式不成立为假时会取:号后面的B的值

 三元运算符

3.5 OFS输出内容的列分隔符

将空格换为“|”

3.6 NF当前处理的行的字段个数

打印第一个字段与最后一个字段

 

3.7 RS行分隔符

4、awk实例：

 查看内存使用率

查看CPU空闲率

top -b -n 1 只会输出一次top的结果 不会进行刷新

通过脚本分析/var/log/secure查看哪些主机在暴力破解本服务，如果统计出密码验证失败超过三次就把IP加入到黑名单中/etc/hosts deny

5、date命令

 以数字形式输出

[root@localhost ~]# date +"%F"
2022-04-24

 以年月日的形式输出

[root@localhost ~]# date +"%Y%m%d"
20220424

 输出当月的第一天

[root@localhost ~]# date +"%Y%m01"
20220401

 输出下一个月的第一天

[root@localhost ~]# date -d "$(date -d "1 month" +"%Y%m01")"
2022年 05月 01日 星期日 00:00:00 CST
[root@localhost ~]# date -d "$(date -d "1 month" +"%Y%m01")" +"%Y%m%d"
20220501

输出本月的最后一天

[root@localhost ~]# date -d "$(date -d "1 month" +"%Y%m01") - 1 day" +"%Y%m%d"
20220430

 输出上个月的倒数第3天

[root@localhost ~]# date -d "$(date +"%Y%m01") - 3 day" +"%Y%m%d"
20220329

 输出服务器重启时间

[root@localhost ~]# date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y%m%d %H;%M;%S"
20220424 14;27;32

 

gtyy9
关注
Shell编程--awk
一个认真学习的女孩子的博客
01-15 1340
awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。可以在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。
shell脚本之AWK-AWK的详细介绍
chen__yang_的博客
03-16 1556
一、AWK简介 二、AWK功能 三、AWK的工作流程 四、AWK程序执行 五、AWK的基本语法
Shell脚本之awk篇
07-30
awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行扫描与处理。数据可 以来自标准输入、文件、管道。
shell-awk命令详解（理论+实战）
最新发布
weixin_72487594的博客
09-04 1183
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作。数据可以来自标准输入也可以是管道或文件。20 世纪 70 年代诞生于贝尔实验室，现在 CentOS 7 用的是 gawk。
shell中的awk命令
01-07
shell中的awk命令 文章目录shell中的awk命令1.awk–“样式扫描和处理语言”2.awk模式匹配3.记录和域4.指定分隔符`-F “”` 指定分隔符`FS=””` 指定分隔符5.关系和布尔运算值6.表达式7.系统变量8.格式化输出9.内置字符串函数gsub函数indexlength 1.awk–“样式扫描和处理语言” awk是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华。在linux系统日常处理工作中，发挥很重要的工作。 awk程序由一个主输入循环维持，主输入循环反复执行，直到条件被触发，主输入循环无须由程序员去写，awk已经搭好主输入循环的
Shell中的AWK
YUEAwb的博客
01-30 3476
printf%s：显示字符串%d, %i：显示十进制整数%f：显示为浮点数%e, %E：显示科学计数法数值%c：显示字符的ASCII码%g, %G：以科学计数法或浮点形式显示数值%u：无符号整数%%：显示%自身##############做成一个表格###########################
shell 里 awk print 的用法详解
01-09
`print`是awk中最基本的操作之一，用于输出匹配到的行或者自定义的输出内容。本文将深入讲解shell中awk `print`的用法。 首先，理解awk的工作原理至关重要。awk按照以下步骤处理输入： 1. **逐行读取**：awk一次...
shell脚本awk按照某列排序输出
01-09
for i in `awk -F ‘[ |]’ ‘{print NR,$2}’ mscto.txt|sort -rn -k2|awk ‘{print $1}’`; do awk ‘NR==’$i’ {print}’ mscto.txt; done ———————————— 43 108|64 33 46|54 81 38|24 72 33|38 64 ...
UNIX Shell中AWK编程技巧与实例详解
资源摘要信息:"AWK是一种编程语言，常用于UNIX Shell中进行文本和数据的处理。AWK提供了强大的文本处理功能，使得用户可以通过编写简单的AWK脚本来完成复杂的文本分析、数据提取和报告生成工作。该资源《AWK编程实例...
【Shell语言】linux中awk命令
翡翠泪滴的博客
04-18 1355
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符linux中有三剑客之称：三剑客之首就是 AWKgrep ： 过滤文本sed : 修改文本awk : 处理文本。
Shell之awk命令
热门推荐
weixin_62466637的博客
12-28 1万+
一、工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 sed命令常用于--整行的处理，而awk比较倾向于将一行分成多个“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“11”表示“或”、 “!”表示“非”; 还可以进行简单的数学运算，如+、-、*、/、号、^分别表示加、减、乘、除、
浅谈shell之awk
Lvxueqinga的博客
06-13 1208
ls -1 t*|while read  f1docat ${f1} |awk -F";" 'BEGIN{OFS=";"} {if (substr($14,10,2) != '20') $14=substr($14,1,9)"20"; print $0}' >> ${f1}.tmpmv ${f1}.tmp ${f1}done以上是去实习之前的第一个作业！做一下知识点总结ls -1 ：将...
shell awk
weixin_30917213的博客
11-27 172
grep-c 只打印匹配模式的行编号记数-I 在匹配文本时忽略大小写-n 在每行前显示其行编号-v 逆向输出，打印不匹配的行-f file 要匹配的字符串列表在filezhonggrep ‘[Tt]his’ file1.txt 设置大小写grep ‘^[^#]‘ file2.txt 不匹配行首grep “s…n” file3.txt 匹配任意字符sed 行编...
LINUX——sed和awk
weixin_54055099的博客
08-05 1462
LINUX下的sed和awk的简单使用
Linux之sed与awk
a2788656708的博客
11-25 646
sed介绍 什么是sed？ Sed是一个流处理编辑器，它能帮助我们自动处理文件、分析日志文件、修改配置文件等。 Stream Editor文本流编辑，sed是一一个“非交互式的"面向字符流的编辑器。能同时处理多个文件多行的内容 可以不对原文件改动，把整个文件输出到屏幕 可以把匹配到的内容输出到屏幕上 还可以对原文件改动，但是不会再屏幕上返回结果 sed处理流程 sed参数说明 sed [-hnV][-e<script>] [-f<script文件...
shell之awk
shanshu12的专栏
10-10 4345
AWK 一、awk基础知识 1、awk格式 awk 选项 '命令体' file1,file2... 选项：-F 指定分隔符，默认是空格或者tab制表符 命令体： 读前处理：BEGIN{命令...}------->页眉 所有行处理：{命令...}------->内容 读后处理：END{命令...}------->页脚 例如： awk -F: 'BEGIN{...
Shell中使用Awk
weixin_44048823的博客
04-26 496
Awk编程语言 gawk程序是Unix中的原始awk程序的GNU版本。 gawk程序让流编辑迈上了一个新的台阶,它提供了一种编程语言而不只是编辑器命令。Awk主要用于统计。 语法格式 awk [options] ‘command’ filename awk [options] -f awk-script-file filename options：-F表示设置字段分隔符，默认为空格或制表符 ...
shell-awk命令详解
WuuuuuJay的博客
07-28 4006
AWK是一种处理文本文件的语言，是一个强大的文件分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描，过滤，统计汇总等工作，数据可以来自标准输入也可以是管道或文件。
shell中awk
04-01
<think>嗯，用户想了解如何在Shell中使用awk命令进行文本处理。首先，我需要回顾一下awk的基本概念和常用功能。根据提供的引用内容，用户可能已经看过一些基础介绍，但需要更详细的步骤和示例。 首先，我应该从awk的基本语法开始。用户可能需要知道如何编写简单的awk命令，比如打印特定字段或整行。引用[1]提到了打印整行和特定字段的示例，这可能是个好的起点。同时，引用[2]和[3]展示了如何引用shell变量和使用自定义分隔符，这些也是重要的知识点。 接下来，用户可能需要具体的例子来理解不同选项的用法。例如，如何根据条件筛选行，比如输出第三列大于50的行。这里需要说明条件表达式的位置在模式和动作之间，比如$3 > 50 {print}。 然后，自定义分隔符也是一个常见需求。引用[3]中的例子使用了-F选项，可以演示如何用-F指定分隔符，比如冒号或者逗号，处理不同的文本结构。 另外，用户可能对内置变量感兴趣，比如NR、NF、FS、OFS等。需要解释这些变量的作用，并给出例子，比如使用NR输出行号，或者用NF处理最后一列的数据。 还有，如何处理外部变量传递的问题，如引用[2]所示，使用-v选项将shell变量传递给awk脚本，这在实际脚本编写中很实用，应该详细说明。 可能还需要提到更高级的用法，比如BEGIN和END块，用于初始化和结束处理，例如计算总和或平均值。同时，结合其他命令如grep或sort，展示awk在管道中的使用场景。 用户的问题可能还涉及性能或效率方面的考虑，但提供的引用中没有太多相关信息，可能需要简要提及awk处理大文件的优势。 最后，确保所有示例符合用户的要求，使用正确的LaTeX格式，行内公式用$...$，独立公式用$$...$$。同时，生成的相关问题要覆盖用户可能进一步探索的方向，比如内置变量、性能优化、复杂文本处理等。 需要检查是否所有要点都覆盖到了：基本语法、常用选项、内置变量、示例用法、变量传递、高级功能。避免遗漏关键步骤，确保回答结构清晰，逐步引导用户从基础到进阶应用。</think>### 如何在Shell中使用`awk`命令进行文本处理？ `awk`是一种强大的文本处理工具，适用于数据提取、格式转换和统计分析。以下是逐步指南： --- #### **1. 基础语法** `awk`命令的基本结构为： ```bash awk '模式 {动作}' 文件名 ``` - **模式**：筛选条件（如正则表达式或逻辑判断） - **动作**：对匹配行执行的操作（如打印、计算） --- #### **2. 常用功能与示例** ##### **2.1 打印整行或特定字段** - **打印整行**（默认行为）： ```bash awk '{print}' file.txt # 等效于 cat file.txt ``` - **打印特定字段**（默认以空格/Tab分隔）： ```bash awk '{print $1, $3}' file.txt # 输出第1和第3列 ``` > 引用示例：打印特定字段[^1] ##### **2.2 根据条件筛选行** - **输出包含关键词的行**： ```bash awk '/error/ {print}' log.txt # 输出含"error"的行 ``` - **输出第三列大于50的行**： ```bash awk '$3 > 50 {print $0}' data.txt ``` ##### **2.3 自定义分隔符** - **指定输入分隔符**： ```bash awk -F':' '{print $1}' /etc/passwd # 以冒号分隔，输出用户名 ``` - **指定输出分隔符**： ```bash awk -F',' 'BEGIN{OFS="|"} {print $1, $3}' data.csv ``` ##### **2.4 使用内置变量** - `NR`：当前行号 ```bash awk '{print NR, $0}' file.txt # 输出行号+内容 ``` - `NF`：当前行的字段数 ```bash awk '{print $NF}' file.txt # 输出每行最后一个字段 ``` ##### **2.5 引用Shell变量** 通过`-v`传递变量： ```bash name="Alice" awk -v user="$name" '{print user, $1}' file.txt ``` > 引用示例：在`awk`中引用Shell变量[^2] --- #### **3. 高级用法** ##### **3.1 统计与计算** - **计算文件行数**： ```bash awk 'END{print NR}' file.txt ``` - **求和某一列**： ```bash awk '{sum += $2} END{print sum}' data.txt ``` ##### **3.2 结合`BEGIN`和`END`块** 初始化与收尾操作： ```bash awk 'BEGIN{print "Start"} {print $0} END{print "End"}' file.txt ``` ##### **3.3 脚本文件处理** 将复杂逻辑写入脚本文件（如`script.awk`）： ```awk # script.awk BEGIN {FS=":"} $3 > 1000 {print $1, $3} ``` 执行脚本： ```bash awk -f script.awk /etc/passwd ``` > 引用示例：从文件读取`awk`脚本[^1] --- #### **4. 实际应用场景** - **分析日志**：提取特定时间段的错误日志 - **处理CSV数据**：计算某列的平均值 - **系统监控**：解析`/proc/uptime`获取运行时长[^3] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值