【shell 编程大全】awk详解

已于 2023-03-01 10:19:46 修改
阅读量1.5k 收藏 4
点赞数 2
分类专栏： Linux shell 编程体系 文章标签： bash linux 开发语言
于 2023-03-01 09:16:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42373116/article/details/129254643
版权
awk将文件中的每一行视为记录，利用字段分隔符处理数据，支持自定义变量和内置变量如NR、NF等。它可以按条件执行动作，如打印特定列、合并字段、行号打印等。BEGIN和END段分别在处理数据前和后执行，常用于格式设置和结果汇总。
摘要由CSDN通过智能技术生成

awk详解

1. 概述

今天我们会将awk 单独分为一个章节，因为其实awk本身是可以作为一个体系的，所以单独拿出来一章 ，不过分

1.1 原理解析

  • awk 认为文件中的每一行是一条记录，记录与记录的分隔符为换行符,每一列是一个字段 字段与字段的分隔符默认是一个或多个空格或tab制表符
  • awk的工作方式是逐行读取文本数据，将每一行数据视为一条记录（record）每条记录以字段分隔符分成若干字段，然后输出各个字段的值.然后以查找匹配某个特定模式的文本行，并对这些文本执行制定动作

2. 格式

2.1 基本格式

格式：
    awk [参数] '[动作]' [文件名]
    awk [参数] –f 动作文件 var=value [文件名]
    awk [参数] 'BEGIN段 [动作] END段' [文件名]
注意：
	动作的格式  '匹配条件{打印动作}'

2.2 常见参数

常见参数：
    -F				指定列的分隔符，默认一行数据的列分隔符是空格
    -f file 		指定读取程序的文件名
    -v var=value	自定义变量

2.3 优先级

awk程序运行优先级是:
    1 BEGIN: 在开始处理数据流之前执行，可选项
    2 动作: 如何处理数据流，必选项
    3 END: 处理完数据流后执行，可选项

2.4 常见动作

常见动作
    print	显示内容
    $0		显示当前行所有内容
    $n		显示当前行的第n列内容，如果存在多个$n，它们之间使用逗号(,)隔开
注意:
	如果打印的内容是变量,则无需在变量两侧加上双引号,其他的都应该加双引号

2.5 内置变量

常见内置变量
    FILENAME 	当前输入文件的文件名，该变量是只读的
    NR 			指定显示行的行号
    FNR			多文件时候，分别计数
    NF 			表示字段数量
    OFS 		输出格式的列分隔符，缺省是空格
    FS 			输入文件的列分隔符，缺省是连续的空格和Tab
    RS			输入记录分隔符,指定输入时的换行符,原换行符($)仍有效
    ORS			输出记录分隔符,输出时用指定符号代替换行符
    ARGC|ARGV[n] 获取命令的参数个数|参数内容

3. 综合示例

3.1 列打印

字段提取:提取一个文本中的一列数据并打印输出，它提供了相关的内置变量。
$0 表示整行文本
$1 表示文本行中的第一个数据字段
$2 表示文本行中的第二个数据字段
$N 表示文本行中的第N个数据字段
$NF 表示文本行中的最后一个数据字段
NR 代表行的行号，在动作外部表示特定行
注意：
如果打印多列信息，需要使用逗号隔开，否则是内容合并

3.1.1 单列打印
[root@VM-8-3-centos day03]# cat awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6
nihao awk7 awk8 awk9
[root@VM-8-3-centos day03]# awk '{print $1}' awk.txt
nihao
nihao
nihao
[root@VM-8-3-centos day03]#
3.1.2 多列打印
[root@VM-8-3-centos day03]# cat awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6
nihao awk7 awk8 awk9
[root@VM-8-3-centos day03]# awk '{print $1,$NF}' awk.txt
nihao awk3
nihao awk6
nihao awk9
[root@VM-8-3-centos day03]#
3.1.3 合并打印
[root@VM-8-3-centos day03]# cat awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6
nihao awk7 awk8 awk9
[root@VM-8-3-centos day03]# awk '{print $1$NF}' awk.txt
nihaoawk3
nihaoawk6
nihaoawk9
[root@VM-8-3-centos day03]#
3.1.4 行号打印
[root@VM-8-3-centos day03]# cat awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6
nihao awk7 awk8 awk9
[root@VM-8-3-centos day03]# awk '{print NR,$1}' awk.txt
1 nihao
2 nihao
3 nihao
[root@VM-8-3-centos day03]#
3.1.5 打印所有
[root@VM-8-3-centos day03]# cat awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6
nihao awk7 awk8 awk9
[root@VM-8-3-centos day03]# awk '{print $0}' awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6
nihao awk7 awk8 awk9
[root@VM-8-3-centos day03]#

3.2 定制查看

常见参数：
-F 指定列的分隔符，默认一行数据的列分隔符是空格
常见内置变量
FS 输入文件的列分隔符，缺省是连续的空格和Tab
RS 输入记录分隔符,指定输入时的换行符,原换行符($)仍有效
注意：
一般情况下，在输出信息之前进行格式的调整，需要在BEGIN{}部分设定

3.2.1 准备信息
[root@VM-8-3-centos day03]# head -n 1 /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@VM-8-3-centos day03]# head -n 1 /etc/passwd > passwd.txt
[root@VM-8-3-centos day03]# ll
total 8
-rw-r--r-- 1 root root 63 Feb 28 09:44 awk.txt
-rw-r--r-- 1 root root 32 Feb 28 10:13 passwd.txt
[root@VM-8-3-centos day03]# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
[root@VM-8-3-centos day03]#
3.2.2 -F 定制分隔符
[root@VM-8-3-centos day03]# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
[root@VM-8-3-centos day03]# awk -F ':' '{print $1,$NF}' passwd.txt
root /bin/bash
[root@VM-8-3-centos day03]#
3.2.3 -v FS 定制分隔符
[root@VM-8-3-centos day03]# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
[root@VM-8-3-centos day03]# awk -v FS=':' '{print $1,$NF}' passwd.txt
root /bin/bash
[root@VM-8-3-centos day03]#
3.2.4 统计案例
[root@VM-8-3-centos day03]# vi domain.txt
[root@VM-8-3-centos day03]# cat domain.txt
http://www.example.org/index.html
http://www.example.org/1.html
http://api.example.org/index.html
http://upload.example.org/index.html
http://img.example.org/3.html
http://search.example.org/2.html
[root@VM-8-3-centos day03]# awk -F[/]+ '{print $2}' domain.txt | uniq -c
      2 www.example.org
      1 api.example.org
      1 upload.example.org
      1 img.example.org
      1 search.example.org
[root@VM-8-3-centos day03]#

3.3 显示语法

3.3.1 基本格式
属性方法
    OFS 		输出格式的列分隔符，缺省是空格
    ORS			输出记录分隔符,输出时用指定符号代替换行符
print方法
	printf [-v var] format [item1,item2,...]
	注意：
		printf输出需要指定换行符号，format的格式必须与后面item对应
		常见格式：
			%c		显示字符的ASCII码		%d|i 	显示十进制整数		
			%e|E	显示科学计数法数值	  %u	  显示无符号整数
			%f		显示浮点数			 %s		 显示字符串			
			%%		显示%本身				
		修饰符：
			%#[.#]	第一个#控制显示宽度，第二个#表示小数点后的精度，例如%3.1f
			%-		左对齐，%-15s
			%+		显示数值的正负符号，%+d
3.3.2 定制列分隔符
[root@VM-8-3-centos day03]# awk -F ':' -v OFS='~~' '{print $1,$NF}' passwd.txt
root~~/bin/bash
[root@VM-8-3-centos day03]#
3.3.3 printf 格式化输出实践
使用print的格式信息
[root@localhost ~]# awk '{printf "%s\n",$1}' awk.txt
nihao
nihao
nihao
[root@localhost ~]# awk '{printf "%s",$1}' awk.txt; echo
nihaonihaonihao

多信息格式化嵌套
[root@localhost ~]# awk '{printf "%d--%s--%s\n", NR,$1,$NR}' awk.txt
1--nihao--nihao
2--nihao--awk4
3--nihao--awk8

数字的格式化输出
[root@localhost ~]# awk '{printf "%4.2f--%s\n", NR,$1}' awk.txt
1.00--nihao
2.00--nihao
3.00--nihao

字符的格式化输出
[root@localhost ~]# awk '{printf "%-8s%s\n", NR,$1}' awk.txt
1       nihao
2       nihao
3       nihao

3.4 优先级实践

格式显示：
	BEGIN{}: 读入第一行文本之前执行的语句，一般用来初始化操作
    {}: 逐行处理的执行命令
    END{}: 处理完最后以行文本后执行，一般用来处理输出结果
3.4.1 优先级实践1
[root@VM-8-3-centos day03]# awk -F: 'BEGIN{print "begin中的NR值:" NR} {print "命令中的NR值: " NR}END{print "END中的NR值: " NR}' /etc/passwd
3.4.2 打印header 以及内容

打印效果如下

在这里插入图片描述

[root@VM-8-3-centos day04]# awk 'BEGIN{print "第一列\t第二列\t"} {print $1"\t"$NF}' awk.txt
第一列  第二列
nihao   awk3
nihao   awk6
nihao   awk9
3.4.3 组合格式化打印

在这里插入图片描述

[root@VM-8-3-centos day04]# awk 'BEGIN{print "第一列\t第二列\n--------------------"} {print $1"\t"$NF;total=NR} END{print "------------------\n总数是:" total}' awk.txt
第一列  第二列
--------------------
nihao   awk3
nihao   awk6
nihao   awk9
------------------
总数是:3
全栈切图仔
关注
专栏目录
Shell编程之AWK的使用
暁洣的博客
03-20 514
背景 AWK是一个优良的文本工具，是Linux环境下现有的功能最强大的数据处理引擎之一。AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。他的创建者创建者已将它正式定义为“样式扫描和处理语言”。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 语法格式 不管语法怎么复杂，其语法始终为： a...
shell编程-awk，sed，crontab
04-09
在Linux系统中，Shell编程是系统管理员和开发者日常工作中不可或缺的一部分。它允许用户通过命令行接口执行各种自动化任务。在给定的压缩包文件中，我们聚焦于三个关键的Shell工具：awk、sed和crontab。下面将详细...
awk命令详解
09-14
linux awk 命令的基本用法,awk 命令详解，强大的awk
Shell编程-awk
weixin_34107955的博客
02-02 125
简介 awk 是一种对立的编程语言，集成于所有UNIX/Linux中，这个名字是它创建者的名字首字母组成的 Alfred Aho,Peter Weinberger, and Brian Kernighan。 awk的基本语法 普通模式 awk '/pattern/{action}' files 其中patter是一个正则表达式，action又是一系列命令，对于满足匹配的文本执行一...
Shell编程：文本处理器（awk）（二）
最新发布
shyuu的博客
09-10 736
本篇讲解：getline用法、文本内容匹配过滤打印、BEGIN 和 END 模式、对字段进行处理打印、-v 选项的用法：变量赋值、BEGIN 模式指定、条件判断打印、awk 的三元表达式、awk 的精准筛选、awk 的分隔符用法、RS 指定行分隔符、指定输出的分隔符、awk 结合数组运用、awk 中定义数组打印、awk 中的数组遍历、处理文件去重统计
shell awk
weixin_30917213的博客
11-27 84
grep-c 只打印匹配模式的行编号记数-I 在匹配文本时忽略大小写-n 在每行前显示其行编号-v 逆向输出，打印不匹配的行-f file 要匹配的字符串列表在filezhonggrep ‘[Tt]his’ file1.txt 设置大小写grep ‘^[^#]‘ file2.txt 不匹配行首grep “s…n” file3.txt 匹配任意字符sed 行编...
【Shell 编程三剑客】shell-awk命令详解（理论+实战）
YCyjs的博客
07-25 1720
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件。20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫AWK是因为其取了三位创始人和的的首字符。
Shell编程之awk
weixin_56600233的博客
01-05 1284
Shell编程之awk
Shell编程：awk命令详解与字符截取
本篇内容主要讲解了在Shell编程中，如何利用awk命令进行字符截取和处理。awk是一种强大的文本处理工具，它结合了正则表达式和编程语言的功能，适用于数据提取、格式转换以及简单的数据分析。以下是主要内容的详细...
UNIX/Linux Shell编程：AWK命令详解
《LINUX与UNIX SHELL编程指南》提供了关于awk语言的基础教程，对于想要深入了解shell编程和文本处理的读者来说，是一本非常有价值的参考资料。通过学习awk，开发者可以更有效地处理大量文本数据，提高工作效率。
Linux Shell编程：awk操作符详解
"该资源主要介绍了Linux环境下的Shell编程，特别是关于AWK的使用，包括操作符、域变量的设置、域值的比较和修改，以及文本域的处理。" 在Linux环境中，Shell编程是一种强大的工具，用于自动化系统管理任务和数据...
shell中的awk命令
01-07
shell中的awk命令 文章目录shell中的awk命令1.awk–“样式扫描和处理语言”2.awk模式匹配3.记录和域4.指定分隔符`-F “”` 指定分隔符`FS=””` 指定分隔符5.关系和布尔运算值6.表达式7.系统变量8.格式化输出9.内置字符串函数gsub函数indexlength 1.awk–“样式扫描和处理语言” awk是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华。在linux系统日常处理工作中，发挥很重要的工作。 awk程序由一个主输入循环维持，主输入循环反复执行，直到条件被触发，主输入循环无须由程序员去写，awk已经搭好主输入循环的
Shell编程--awk
一个认真学习的女孩子的博客
01-15 1129
awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。可以在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。
shell之awk
shanshu12的专栏
10-10 4227
AWK 一、awk基础知识 1、awk格式 awk 选项 '命令体' file1,file2... 选项：-F 指定分隔符，默认是空格或者tab制表符 命令体： 读前处理：BEGIN{命令...}------->页眉 所有行处理：{命令...}------->内容 读后处理：END{命令...}------->页脚 例如： awk -F: 'BEGIN{...
Shell中的awk
weixin_45305723的博客
04-24 1789
一、awk基本介绍 1、awk工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 awk倾向于将一行分成多个"字段"然后再进行处理。 awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
Shell之awk命令
热门推荐
weixin_62466637的博客
12-28 1万+
一、工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 sed命令常用于--整行的处理，而awk比较倾向于将一行分成多个“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“11”表示“或”、 “!”表示“非”; 还可以进行简单的数学运算，如+、-、*、/、号、^分别表示加、减、乘、除、
AWK简单教程
ppby2002的专栏
05-21 624
<br />一、AWK简介<br />         AWK名字来源于三位创造者Aho、Weinberger和Kernighan统称。<br />         AWK擅长处理文本数据 。<br /><br /> 二、AWK的调用方式<br />         awk [-Ffs] [-v var=value] [program | -f progfile ...] [file ...]<br /><br />         1、命令行方式<br />         例如：<br
Shell中的AWK
YUEAwb的博客
01-30 3201
printf%s：显示字符串%d, %i：显示十进制整数%f：显示为浮点数%e, %E：显示科学计数法数值%c：显示字符的ASCII码%g, %G：以科学计数法或浮点形式显示数值%u：无符号整数%%：显示%自身##############做成一个表格###########################
shell_awk编辑器
Wsxyi的博客
03-16 221
awk编辑器一.awk1.工作原理2.命令格式3.awk常见的内建变量4.按行输出文本BEGIN模式表示5.按字段输出文本三级目 一.awk 1.工作原理 sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。 awk也是逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。执行结果可以通过print的功能将字段数据打印显示。 在使用awk命令的过程中,可以使用逻辑操作符“&&”表示
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值