Shell中的AWK

已于 2024-03-18 13:10:04 修改
阅读量2.2k 收藏 40
点赞数 43
文章标签： linux 运维 服务器 mysql ssh git 网络
于 2024-01-30 23:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YUEAwb/article/details/135930599
版权

目录

1.awk的工作原理

2.awk的命令格式

3.awk基础命令

3.1过滤出包含指定内容的行

3.2  -F，指定分隔符，取列

3.3  BEGIN

3.4  END

3.5  文件导入，打印内容

3.6  “计算机”

3.7  awk取磁盘量

3.8  awk取IP地址

4. awk 常见的内置变量

4.1  FS

4.2  OFS

4.3  RS

4.4  NF

4.5  NR

4.6 找普通用户

4.7  FNR

5.自定义变量

6.模式匹配

7.找到10：00 到 11：00之间的日志

8.关系表达式

8.1  0为假；1为真

8.2  n++

8.3  !0

8.4  i=!i

8.5 !(i=!i)

9.条件判断

if条件判断

10.  for  

11.访问、赋值数值元素

12.遍历数组

13.小案例

1.  awk  '!line[$0]++'  test

2.  用for循环，打印端口号信息

3.  提取下面的字段中的 IP地址和时间

4.  提取host.txt主机名后再放回host.txt文件

5.  统计/etc/fstab文件中每个文件系统类型出现的次数

6.  统计/etc/fstab文件中每个真单词出现的次数

7.  提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

8.  查出/tmp/的权限，以数字方式显示

9.  查出用户UID最大值的用户名、UID及shell类型

1.awk的工作原理

  • 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
  • awk倾向于将一行分成多个"字段"然后再进行处理。
  • awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
  • 使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

2.awk的命令格式

  1. awk 选项 '模式或条件 {操作}' 文件1 文件2 ....
  3. 或者
  4. awk -f 脚本文件 文件1 文件2 .....

  • 第一步：执行BEGIN{action;… }语句块中的语句
  • 第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，
  • 从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
  • 第三步：当读至输入流末尾时，执行END{action;…}语句块
  • BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
  • END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
  • pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块 

3.awk基础命令

3.1过滤出包含指定内容的行

3.2  -F，指定分隔符，取列

3.3  BEGIN

3.4  END

3.5  文件导入，打印内容

3.6  “计算机”

3.7  awk取磁盘量

3.8  awk取IP地址

4. awk 常见的内置变量

awk 选项 '模式{print }'

  • FS :指定每行文本的字段分隔符，缺省默认为空格或制表符（tab）。与 “-F”作用相同 -v "FS=:"

  • OFS：输出时的分隔符

  • NF：当前处理的行的字段个数

  • NR：当前处理的行的行号（序数）

  • $0：当前处理的行的整行内容

  • $n：当前处理行的第n个字段（第n列）

  • FILENAME:被处理的文件名

  • RS：行分隔符。awk从文件上读取资料时，将根据RS的定义就把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是\n

-v：定义变量  awk  中的变量

-F：指定分隔符

4.1  FS

4.2  OFS

4.3  RS

4.4  NF

4.5  NR

4.6 找普通用户

4.7  FNR

5.自定义变量

printf   
%s：显示字符串
%d, %i：显示十进制整数
%f：显示为浮点数
%e, %E：显示科学计数法数值 
%c：显示字符的ASCII码
%g, %G：以科学计数法或浮点形式显示数值
%u：无符号整数
%%：显示%自身

##############做成一个表格###########################

awk -F:   'BEGIN{printf "--------------------------------\n%-20s|%10s|\n--------------------------------\n","username","uid"}{printf "%-20s|%10d|\n--------------------------------\n",$1,$3}' /etc/passwd

6.模式匹配

awk '模式{处理动作}'

PATTERN:根据pattern条件，过滤匹配的行，再做处

7.找到10：00 到 11：00之间的日志

awk      '/10/,/11/'        文件名

sed      -nr    '/10/,/11/p'        文件名

8.关系表达式

  • 关系表达式结果为“真”才会被处理
  • 真：结果为非0值，非空字符串
  • 假：结果为空字符串或0值

8.1  0为假；1为真

8.2  n++

8.3  !0

8.4  i=!i

8.5 !(i=!i)

9.条件判断

  • if语句：awk的if语句也分为单分支、双分支和多分支
  • 单分支为if(判断条件){执行语句}
  • 双分支为if(判断条件){执行语句}else{执行语句}
  • 多分支为if(判断条件){执行语句}else if(判断条件){执行语句}else if(判断条件){执行语句}else if(判断条件){执行语句 

if条件判断

10.  for  

11.访问、赋值数值元素

12.遍历数组

13.小案例

1.  awk  '!line[$0]++'  test

2.  用for循环，打印端口号信息

ss -natp| awk 'NR!=1{print  $1}'  | sort |uniq  -c

ss -natp | awk  'NR!=1{a[$1]++}END{for(i in a)print  i,a[i]}'

3.  提取下面的字段中的 IP地址和时间

58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1"""sendfileo
 

4.  提取host.txt主机名后再放回host.txt文件

1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com

5.  统计/etc/fstab文件中每个文件系统类型出现的次数

6.  统计/etc/fstab文件中每个真单词出现的次数

7.  提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字

8.  查出/tmp/的权限，以数字方式显示

9.  查出用户UID最大值的用户名、UID及shell类型

YUEAwb
关注
  • 43
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shell中的awk命令
01-07
shell中的awk命令 文章目录shell中的awk命令1.awk–“样式扫描和处理语言”2.awk模式匹配3.记录和域4.指定分隔符`-F “”` 指定分隔符`FS=””` 指定分隔符5.关系和布尔运算值6.表达式7.系统变量8.格式化输出9.内置字符串函数gsub函数indexlength 1.awk–“样式扫描和处理语言” awk是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华。在linux系统日常处理工作中，发挥很重要的工作。 awk程序由一个主输入循环维持，主输入循环反复执行，直到条件被触发，主输入循环无须由程序员去写，awk已经搭好主输入循环的
Shell之awk命令
热门推荐
weixin_62466637的博客
12-28 1万+
一、工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 sed命令常用于--整行的处理，而awk比较倾向于将一行分成多个“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“11”表示“或”、 “!”表示“非”; 还可以进行简单的数学运算，如+、-、*、/、号、^分别表示加、减、乘、除、
shell脚本中AWK
最新发布
weixin_56770318的博客
05-17 1208
通过指定输出格式和使用内置的输出函数，可以将处理后的数据按照指定的格式输出到标准输出或者文件中。如果某行满足指定的模式，则执行相应的动作。BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。（8）打印/etc/passwd文件中以：为分隔符的行的第一字段和最后一个字段。
shell中的awk 和sed及grep
gzhouc的专栏
07-05 2105
一. grep 命令 1. grep命令基本语法 grep命令是打印匹配文本行，其全称为 Global Search Regular Expression and Print out the line；基本语法如下： grep [OPTIONS] PATTERN [FILE...] grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...] 其中，OP
Shell中的awk
weixin_45305723的博客
04-24 1717
一、awk基本介绍 1、awk工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。 awk倾向于将一行分成多个"字段"然后再进行处理。 awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。 使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
Shell 中的awk命令
THE_MAKER的专栏
03-10 576
在linux上有很多处理文字的信息，awk也是其中的一种，希望它能给你带来方便 awk执行时，其浏览域标记为$1,$2....$n。这种方法称为域标识。使用$1,$3标识参照第1和第3域，注意这里用逗号隔开做域分割，$0标识所有域。 1.保存awk的输出 第一种，最简单的方式是使用输出重定向符号 > 文件名，下面的例子重2.定向输出的文件wow $ awk '{print $0}'
shell工具之awk
01-09
shell工具之awk ​ 一个强大的文本分析工具，把文件逐行的读入，以空格为默认的分割符并将每行切片，切开的部分在进行分析处理。 1.基本用法 awk [选项参数] ‘pattern1 {action} pattern2 {action}…’ filename ...
shell 里 awk print 的用法详解
01-09
`print`是awk中最基本的操作之一，用于输出匹配到的行或者自定义的输出内容。本文将深入讲解shell中awk `print`的用法。 首先，理解awk的工作原理至关重要。awk按照以下步骤处理输入： 1. **逐行读取**：awk一次...
Shell脚本中awk指令的用法
09-15
在awk中，正则表达式用于匹配行内容，它们需要放在`//`之间。例如： ```bash awk '/123/' file: 打印匹配“123”的行。 awk '/^pattern$/' file: 匹配以“pattern”开始并以“pattern”结束的行。 ``` ### 6. ...
shell脚本awk按照某列排序输出
01-09
for i in `awk -F ‘[ |]’ ‘{print NR,$2}’ mscto.txt|sort -rn -k2|awk ‘{print $1}’`; do awk ‘NR==’$i’ {print}’ mscto.txt; done ———————————— 43 108|64 33 46|54 81 38|24 72 33|38 64 ...
Shell脚本之awk篇
07-30
awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行扫描与处理。数据可 以来自标准输入、文件、管道。
shell之awk
咬手指的apple
05-18 746
awk
Shell中使用Awk
weixin_44048823的博客
04-26 420
Awk编程语言 gawk程序是Unix中的原始awk程序的GNU版本。 gawk程序让流编辑迈上了一个新的台阶,它提供了一种编程语言而不只是编辑器命令。Awk主要用于统计。 语法格式 awk [options] ‘command’ filename awk [options] -f awk-script-file filename options：-F表示设置字段分隔符，默认为空格或制表符 ...
Shell脚本之AWK
weixin_67474417的博客
05-11 6600
一.AWK的介绍 1.1AWK的概述 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk 1.2AWK的工作原理 1.当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出 2.如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执...
shell中awk 使用
zhu_si_tao的博客
11-28 942
1.awk  AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。 是shell中处理文本的三大利器之一。 2.awk 初接触 awk 是行处理器，对每行中按指定的分隔符分开的列进行相应的操作。 awk [options] 'script' var=value file(s) 2.1 $0  awk '{print $0,$1,$2
shell脚本中的awk命令
qq_43028054的博客
06-20 1万+
sed命令疑难问题 sed -ri ‘/^H+/a 11111111111’ /etc/sysconfig/network 在文件里在以至少一个H开头的行追加111111111 sed -ir ‘/^H+/a 11111111111’ /etc/sysconfig/network 追加不会成功。在 /etc/sysconfig/network备份的文件里加上后缀r 注：sed -r -i分开来写就...
shell编程里面的 （AWK命令详解）
念念不忘，必有回响。
04-23 3662
awk命令详解： awk是一个功能非常强大的文档编辑工具，它不仅能以行为单位还能以列为单位处理文件。 命令格式： awk [参数] '[ 动作]' [文件名] 常见参数： -F 指定行的分隔符 常见动作： print 显示内容 $0 显示当前行所有内容 $n 显示当前行的第n列内容，如果存在多个$n，它们之间使用逗号(,)隔开 常见内置变量 FILENAME 当前输入文件的文...
一文了解Shell中的awk命令
南国的技术栈
05-15 593
前言 AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 语法 awk [选项参数] 'script' var=value file(s) 或 awk [选项参数] -f scriptfile var=value fil...
shell中 awk if的用法
09-05
在shell中，awk是一种强大的文本处理工具，它可以用于对文本文件进行行和列的操作和处理。条件判断是awk中常用的功能之一，可以使用if语句在awk脚本中进行条件判断和分支控制。 下面是一个简单的示例，演示了awk中if语句的用法： ```shell awk '{ if ($1 > 10) print $1; else print "Less than or equal to 10"; }' filename.txt ``` 在上述示例中，我们使用awk读取名为`filename.txt`的文件，并对每一行进行处理。if语句用于判断第一个列的值是否大于10，如果是，则打印该值；否则，打印"Less than or equal to 10"。 请注意，awk中if语句的语法与大多数编程语言中的if语句类似。在括号中指定条件，然后在大括号内编写满足条件时执行的代码，以及可选的else块来处理不满足条件的情况。 除了使用if语句外，awk还提供其他条件判断和控制流语句（如while、for等），以便更灵活地处理文本数据。你可以根据具体需求选择适合的语句来完成相应的任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值