awk学习笔记2019

最新推荐文章于 2025-01-21 21:30:00 发布
最新推荐文章于 2025-01-21 21:30:00 发布
阅读量274 收藏
点赞数
分类专栏： linux shell 文章标签： awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sskg99/article/details/103042954
版权

awk学习笔记

文章目录

awk语法格式

awk [options] ‘commands’ filenames

options
-F 定义输入字段分隔符,默认的分隔符是空格或制表符(tab)

command：
BEGIN{}{}END{}
行处理前 行处理 行处理后

# awk 'BEGIN{print 1/2} {print "ok"} END{print "-----------"}'  /etc/hosts 
0.5 
ok 
ok 
ok 
-----------

BEGIN{} 通常用于定义一些变量，
例如 BEGIN{FS=":";OFS="—"}

awk命令格式

awk ‘pattern’ filename

示例：

awk -F: '/root/'  /etc/passwd

awk ‘{action}’ filename

示例：

awk -F: '{print $1}' /etc/passwd

awk ‘pattern {action}’ filename

示例：

awk -F: '/root/{print  $1,$3}' /etc/passwd

示例

awk 'BEGIN{FS=":"} /root/{print $1,$3}' /etc/passwd

command |awk ‘pattern {action}’

示例：

df -P| grep '/' |awk '$4 > 25000 {print $4}'

awk工作原理

# awk -F: '{print $1,$3}' /etc/passwd
  1. awk 使用一行作为输入，并将这一行赋给内部变量$0，每一行也可称为一个记录，以换行符结束
  2. 然后，行被:（默认为空格或制表符）分解成字段（或域），每个字段存储在已编号的变量
    中，从 $1 开始， 最多达100个字段
  3. awk 如何知道用空格来分隔字段的呢？ 因为有一个内部变量 FS 来确定字段分隔符。初始
    时，FS 赋为空格
  4. awk 打印字段时，将以设置的方法使用print函数打印，awk在打印的字段间加上空格，
    因为$1,$3之间有一个逗号。

逗号比较特殊，它映射为另一个内部变量，称为输出字段分隔符OFS，OFS默认为空格

  1. awk 输出之后，将从文件中获取另一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处理。该过程将持续到所有行处理完毕

awk 中与记录字段相关的内部变量：

查看awk变量方法 man awk

1. $0： awk变量$0保存当前记录的内容

```
# awk -F: '{print $0}' /etc/passwd 
```

2. NR： The total number of input records seen so far.

```
# awk -F: '{print NR, $0}' /etc/passwd /etc/hosts 
```

3. FNR： The input record number in the current input file

```
# awk -F:  '{print  FNR, $0}'  /etc/passwd 
/etc/hosts 
```

4. NF：保存记录的字段数，$1 , $2… $100

```
# awk -F: '{print $0,NF}' /etc/passwd 
```
>**注意:** NF 和 $NF 之间的区别

5. FS： 输入字段分隔符，默认空格

```
# awk -F: '/alice/{print $1, $3}' /etc/passwd 
# awk -F'[  :\t]' '{print $1,$2,$3}' /etc/passwd
# awk 'BEGIN{FS=":"} {print $1,$3}' /etc/passwd 
```

6. OFS： 输出字段分隔符

```
# awk -F: '/alice/{print  $1,$2,$3,$4}' /etc/passwd 
# awk 'BEGIN{FS=":"; OFS="+++"} /^root/{print  $1,$2,$3,$4}' /etc/passwd 
```

7. RS : The input record separator, by default a newline.

输入记录分隔符,默认遇见换行符认为是一条记录

 # awk -F: 'BEGIN{RS=" "} {print $0}' a.txt

8. ORS : The output record separator, by default a newline.

```
# awk -F: 'BEGIN{ORS=""} {print $0}' passwd 
```

lab1: 将文件中 多行 合并为 一行

# awk 'BEGIN{ORS=" "} {print $0}' /etc/passwd

lab2: 将文件中一行分成多行

# head -1 /etc/passwd  > passwd1 
# cat passwd1   
root:x:0:0:root:/root:/bin/bash 
 
# awk 'BEGIN{RS=":"} {print $0}' passwd1   
root 
x 
0 
0 
root 
/root  
/bin/bash 
 
# awk 'BEGIN{RS=":"} {print $0}' passwd1 |grep -v '^$' > passwd2

格式化输出：

print函数

# date |awk '{print "Month: " $2 "\nYear: " $NF}' 
# awk -F: '{print "username is: " $1 "\t uid is: " $3}' /etc/passwd 
# awk -F: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd

printf函数

# awk -F: '{printf "%-15s %-10s %-15s\n", $1,$2,$3}' /etc/passwd 
# awk -F: '{printf "|%-15s|  %-10s|  %-15s|\n", $1,$2,$3}' /etc/passwd
  • %s 字符类型
  • %d 数值类型
  • %f 浮点数
  • 占15字符
  • - 表示左对齐，默认是右对齐

printf默认不会在行尾自动换行，加\n

awk模式和动作

任何awk语句都由模式和动作组成。
模式 部分决定动作语句何时触发及触发事件。
动作 即对数据进行的操作。

如果省略模式部分，动作将时刻保持执行状态。
模式可以是任何条件语句或复合语句或正则表达式。

模式包括两个特殊字段BEGIN和END。

  • 使用BEGIN语句设置计数和打印头。
    BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文本开始执行。
  • END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态。

awk支持的模式

正则表达式

匹配记录（整行）

# awk '/^alice/' /etc/passwd 
# awk '$0 ~ /^alice/' /etc/passwd 
# awk '!/alice/' passwd 
# awk '$0 !~ /^alice/'  /etc/passwd

匹配字段：匹配操作符（~ !~）

# awk -F: '$1 ~ /^alice/' /etc/passwd 
# awk -F: '$NF !~ /bash$/'  /etc/passwd

比较表达式：

  • 比较表达式采用对文本进行比较，只有当条件为真，才执行指定的动作。
  • 比较表达式使用关系运算符，用于比较数字与字符串。

关系运算符

运算符含义示例
<小于x<y
<=小于或等于x<=y
==等于x==y
!=不等于x!=y
>=大于等于x>=y
>大于x>y

示例:

# awk -F: '$3 == 0' /etc/passwd 
# awk -F: '$3 < 10' /etc/passwd 
# awk -F: '$7 == "/bin/bash"'  /etc/passwd 
# awk -F: '$1 == "alice"' /etc/passwd 
# awk -F: '$1 ~ /alice/ ' /etc/passwd 
# awk -F: '$1 !~ /alice/ ' /etc/passwd 
# df -P | grep '/' |awk '$4 > 25000'

条件表达式：

# awk -F: '$3>300 {print $0}' /etc/passwd 
# awk -F: '{ if($3>300) print $0 }' /etc/passwd

// 推荐使用以下两种格式
# awk -F: '{ if($3>300) {print $0} }' /etc/passwd 
# awk -F: '{ if($3>300) {print $3} else{print  $1} }' /etc/passwd

算术运算：+ - * / %(模) ^(幂2^3)

可以在模式中执行计算，awk都将按浮点数方式执行算术运算

# awk -F: '$3 * 10 > 500' /etc/passwd 
# awk -F: '{ if($3*10>500){print  $0} }' /etc/passwd

逻辑操作符和复合模式

&& 逻辑与 a&&b
|| 逻辑或 a||b
! 逻辑非 !a

# awk -F: '$1~/root/ && $3<=15' /etc/passwd 
# awk -F: '$1~/root/ || $3<=15' /etc/passwd 
# awk -F: '!($1~/root/ || $3<=15)' /etc/passwd

范围模式

# awk '/Tom/,/Suzanne/'  filename

awk示例:

# awk '/west/' datafile 
# awk '/^north/'  datafile 
# awk '$3 ~ /^north/'  datafile 
# awk '/^(no|so)/'  datafile 
# awk '{print $3,$2}' datafile 
 
# awk '{print $3 $2}' datafile 
# awk '{print $0}' datafile 
# awk '{print "Number of fields: "NF}' datafile
# awk '/northeast/{print  $3,$2}' datafile 
# awk '/E/' datafile 

# awk '/^[ns]/{print  $1}' datafile 
# awk '$5 ~ /\.[7-9]+/' datafile 
# awk '$2 !~ /E/{print  $1,$2}' datafile 
# awk '$3 ~ /^Joel/{print  $3 " is a nice boy."}' datafile 
# awk '$8 ~ /[0-9][0-9]$/{print  $8}' datafile 

# awk '$4 ~ /Chin$/{print  "The price is $" $8 "."}' datafile 
# awk '/Tj/{print  $0}' datafile 
# awk '{print $1}' /etc/passwd   
# awk -F: '{print $1}' /etc/passwd 
# awk '{print "Number of fields: "NF}' /etc/passwd 

# awk -F: '{print "Number of fields:  "NF}' /etc/passwd 
# awk -F"[ :]" '{print NF}' /etc/passwd   
# awk '$7 == 5' datafile 
# awk '$2 == "CT" {print $1, $2}' datafile 
# awk '$7 != 5' datafile

lab3

# cat b.txt  
yang sheng:is a:good boy! 
# awk '{print  NF}' b.txt   
4 
# awk -F: '{print NF}' b.txt  
3 
# awk -F"[ :]" '{print NF}' b.txt  
6 

# awk '$7 < 5 {print $4, $7}' datafile 
# awk '$6 > .9 {print $1,$6}' datafile 
# awk '$8 <= 17 {print $8}' datafile 
# awk '$8 >= 17 {print $8}' datafile 
# awk '$8 > 10 && $8 < 17' datafile 

# awk '$2 == "NW" || $1 ~ /south/  {print $1, $2}' datafile 
# awk '!($8 == 13){print $8}' datafile 
# awk '/southem/{print  $5 + 10}' datafile 
# awk '/southem/{print  $8 + 10}' datafile 
# awk '/southem/{print  $5 + 10.56}' datafile 

# awk '/southem/{print  $8 - 10}' datafile 
# awk '/southem/{print  $8 / 2 }' datafile 
# awk '/southem/{print  $8 / 3 }' datafile 
# awk '/southem/{print  $8 * 2 }' datafile 
# awk '/southem/{print  $8 % 2 }' datafile 

# awk '$3 ~ /^Suan/  {print "Percentage: "$6 + .2 " Volume:  " $8}' datafile 
# awk '/^western/,/^eastern/' datafile 
# awk '{print ($7 > 4 ? "high "$7 : "low "$7)}' datafile //三目运算符  a?b:c 条件?结果1:结果2 

# awk '$3 == "Chris" {$3 = "Christian"; print $0}' datafile //赋值运算符 
# awk '/Derek/ {$8+=12; print $8}' datafile //$8 += 12等价于$8 = $8 + 12 
# awk '{$7%=3; print $7}' datafile //$7  %= 3等价于$7 = $7 % 3
awk 学习笔记
yaozhiyi的专栏
03-05 2262
本文参考的是 ubuntu 下 gawk version 3.1.6 以及 《sed&awk》 一 . awk 简介 awk 是一种解释型(tawk除外)文本处理语言 二 . awk 如何运作 命令行参数 shell 会预处理命令行，获得命令行参数(其中包括命令名)，之后启动命令并向它传递剩余的参数。 系统变量ARGV: 一个关联数组，存放命令行参数，数组下标从0到ARGC-1，ARGV[0]的值为awk 系统变量ARGC: 命令行参数的个数 ARGV 的元素不包含AWK的选项和脚
AWK学习笔记(一)
dai__liang的博客
06-09 801
awk是一款很强大的文本处理工具，他把所要处理的字符串 按行 读入到内存进行分段处理。默认情况下是以空格或者tab作为分隔符，对每个分段都分配一个名字，第1部分用$1表示，第2部分用$2表示以此类推，整行内容用$0表示，具体如下： Have a nice day $1 $2 $3 $4 如果想对哪部分进行操作的话，直接用$n（n是数字）指定就可以了，这里的的操作一般是指print （自动换行)。printf则不会自动换行。 awk的基本语法：awk ‘{pr.
AWK 学习笔记
不见黑眼圈 的专栏
12-06 1038
原创：http://blog.csdn.net/skydreamer01/article/details/3600628 AWK学习笔记 1 AWK简介     AWK是Alfred V.Aho, Peter J.Weinberger，Brian W.Kerninghan三人在1977设计和实施的，最初是为了试验Unix中的grep和sed工具怎样可以一般化地在文本之外还能处理数据（grep
AWK学习笔记
一个菜鸟
06-06 1084
1、AWK命令格式： awk 'pattern' fileawk '{actions}' fileawk 'pattern {action}' file 其中，pattern由两个正斜杠之间的正则表达、一个或多个awk操作符组成的表达式组成。比如pattern可以使'/Tom/ && $2 > 10'之类的。 2、模式范围 使用两个模式时，先匹配从第一个模式的首次出现到第
linux awk学习笔记
01-11
`awk`的学习需要结合实际案例进行，通过编写和运行脚本来熟悉其用法和功能。 总结，`awk`是Linux文本处理的重要工具，其灵活性和强大的功能使其在数据分析、日志分析等领域有着广泛的应用。通过深入学习和实践，...
Awk学习笔记
05-31
1. awk简介 2. awk命令格式和选项 2.1. awk的语法有两种形式 2.2. 命令选项 3. 模式和操作 3.1. 模式 3.2. 操作 4. awk的环境变量 5. awk运算符 6. 记录和域 6.1. 记录 6.2. 域 6.3. 域分隔符 7. gawk专用...
awk学习笔记
09-26
awk学习笔记主要涵盖了awk编程语言的基础知识和常用功能。awk是一种强大的文本分析工具，尤其在Linux/Unix环境下广泛使用。它能够处理标准输入、文件或其它命令的输出，通过模式匹配对文本进行分析和处理。 1. **...
awk学习笔记.pdf
06-18
AWK是一种编程语言，用于在Linux环境下对文本和数据进行处理和分析。它是许多UNIX系统中的标准工具，并且是文本处理的强大工具。AWK通过模式匹配来处理文本文件，其中可以指定一系列规则，称为模式和动作，来对输入...
[转]Awk学习笔记
heiyeluren的blog（黑夜路人的开源世界）
02-21 2976
Awk学习笔记整理：Jims of 肥肥世家jims.yang@gmail.com>Copyright © 2004 本文遵从GPL协议，欢迎转载、修改、散布。第一次发布时间:2004年8月6日Table of Contents1. awk简介 2. awk命令格式和选项 2.1. awk的
Shell学习笔记 三剑客-awk
qq_38170766的博客
05-27 423
awk简介 awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行处理。 awk数据可以是来自标准输入、一个或者多个文件，或者其它命令的输出 它支持用户自定义函数和动态正则表达式等功能，是linux/unix下的一个强大的文本处理工具。 它在命令行中使用，但更多是配合脚本来使用。 awk 的处理文本和数据的方式是，逐行扫描文件，寻找匹配的特定模式的行，并在这些行上进行指定的操作。 如果没有指定的处理动作，则把匹配的行显示到标准输出（屏幕），如果没有指定模式，则所有被操作所指定的
详解 awk 工具的使用方法
java的平凡之路
05-18 623
awk 是一个强大的文本分析工具。它不仅是 Linux 中，也是任何环境中现有的功能最强大的数据处理引擎之一。相对于 grep 的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。 当你第一次拿起双手在电脑上使用 awk 命令处理一个或者多个文件的时候，它会依次读取文件的每一行内容, 然后对其进行处理，awk 命令默认从 stdio 标准输入获取文件内容, aw
shell编程三剑客awk
cyx1834265118的博客
09-10 367
一.前言 awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。 数据可以来自标准输入、一个或多个文件，或其它命令的输出。 它支持用户自定义函数和动态正则表达式等先进功能，awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。 如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Peter Weinberger、 Kern
ubuntu_查询连接当前服务器的用户ip
最新发布
惊鸿一博
01-21 249
你可以结合这两个命令来获取更多信息，但这种方法可能更复杂一些，因为你需要找到与特定用户会话相关的网络连接。命令可以显示最近登录到系统的用户信息，包括他们的IP地址（如果他们是远程登录的）。但请注意，这种方法通常不会直接显示远程用户的IP地址，除非你知道如何解析特定的网络连接信息。如果你的服务器是通过SSH进行远程访问的，你可以查看SSH服务的配置文件（通常是。的列表，但请注意，字段的位置可能会根据你的Ubuntu版本和配置而有所不同。）可能包含有关用户登录和注销的详细信息，包括他们的IP地址。
awk 使用示例 END
坚定目标，超越自我
01-19 332
这个awk命令是一个强大的数据汇总工具，能够快速计算分组数据的统计信息。它在处理日志文件、分析数值数据和生成报告等任务中非常有用。理解和使用这样的命令可以大大提高数据处理的效率。这个awk命令是一个复杂的数据处理脚本，用于计算和汇总数据。这个命令读取输入数据，按第一列分组，计算第二列的总和和平均值，最后输出每组的统计结果。在处理完所有输入后执行。
SED与AWK学习笔记：入门到实践
"sed awk学习" 本文档主要涵盖了SED和AWK这两个强大的文本处理工具的学习笔记。作者张逸群强调了实践对于学习的重要性，并指出这两款工具的原版图书通常是最佳学习资源，但由于语言障碍，很多人难以获取。文档完成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值