awk详解 数组

最新推荐文章于 2023-10-24 16:13:23 发布
最新推荐文章于 2023-10-24 16:13:23 发布
阅读量854 收藏 14
点赞数 1
文章标签： awk shell 面试
原文链接：https://yq.aliyun.com/articles/311727
版权

第1章 awk命令基础

1.1 awk命令执行过程

1、如果BEGIN 区块存在，awk执行它指定的动作。

2、awk从输入文件中读取一行，称为一条输入记录。如果输入文件省略，将从标准输入读取

3、awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量FS或由参数指定。

4、把当前输入记录(数据行)依次与每一个awk命令中awk条件比较，看是否匹配，如果相匹配，就执行对应的动作。如果不匹配，就跳过对应的动作，直到比较完所有的awk命令。

5、当一条输入记录比较了所有的awk命令后，awk读取输入的下一行，继续重复步骤3和4，这个过程一直持续，直到awk读取到文件尾。

6、当awk读完所有的输入行后，如果存在END，就执行相应的动作。

1.2 awk中模式与动作

'pattern{action}'

1.2.1 在awk眼中的行与列

field     字段，列

record    记录，行

 

1.3 awk默认有一把“菜刀”

空格系列 （单独的空格，连续的空格，tab键）

 -F        指定分隔符 

 -vFS

 FS  == field sep       每一列的分隔符

 OFS ==output field sep  输出每一列的时候使用的分隔符

1.4 awk的内置变量

变量

含义

英文全写

FS  

 每一列的分隔符

field sep      

NF  

 每一行有多少列

number  of field

OFS 

 输出每一列的时候使用的分隔符

output field sep

NR  

 记录号 行号

number of record

RS  

 每一行的分隔符（每一行的结束标记）

 

$数字

 取某一列

 

$0  

 取出这一行

 

1.4.1 $NF的使用

$NF 表示最后一列，(NF-1)表示倒数第二列，以此类推。

[root@znix ~]# awk -F: '{print NF}' passwd.txt

7

7

……

[root@znix ~]# awk -F: '{print $NF}' passwd.txt

/bin/bash

/sbin/nologin

/sbin/nologin

[root@znix ~]# awk -F: '{print $(NF-1)}' passwd.txt

/root

/bin

/sbin

1.5 【练习题】awk如何使用正则？

1)      显示Xiaoyu的姓氏和ID号码

2)      显示所有ID号码最后一位数字是1或5的人的全名

3)      姓氏是Zhang的人，显示他的第二次捐款金额及她的名字

4)      显示Xiaoyu的捐款.每个值时都有以$开头.如$520$200$135

1.5.1 环境准备

mkdir -p /server/files/

cat >>/server/files/reg.txt<<EOF

Zhang Dandan    41117397   :250:100:175

Zhang Xiaoyu    390320151  :155:90:201

Meng  Feixue    80042789   :250:60:50

Wu    Waiwai    70271111   :250:80:75

Liu   Bingbing  41117483   :250:100:175

Wang  Xiaoai    3515064655 :50:95:135

Zi    Gege      1986787350 :250:168:200

Li    Youjiu    918391635  :175:75:300

Lao   Nanhai    918391635  :250:100:175

EOF

1.5.1.1 内容释义：

第一列是姓氏

第二列是名字

第一第二列合起来就是姓名

第三列是对应的ID号码

最后三列是三次捐款数量

1.5.2 显示出第二列中包含X 的。

$2~表示第二列所有的内容。 ~表示所有

              在这里X比较特殊，是大写的，awk中区分大小写。

[root@znix files]# awk '$2~/X/' reg.txt

Zhang Xiaoyu    390320151  :155:90:201

Wang  Xiaoai    3515064655 :50:95:135

1.5.3 显示Xiaoyu的姓氏和ID号码

[root@znix files]# awk '$2~/Xiaoyu/{print $1,$3}' reg.txt

Zhang 390320151

1.5.4 显示所有ID号码最后一位数字是1或5的人的全名

[root@znix files]# awk '$3~/(1|5)$/{print $1,$2}' reg.txt

[root@znix files]# awk '$3~/[15]$/{print $1,$2}' reg.txt

Zhang Xiaoyu

Wu Waiwai

Wang Xiaoai

Li Youjiu

Lao Nanhai

1.5.5 姓氏是Zhang的人，显示他的第二次捐款金额及她的名字

先找到，再进行输出。(NF-1) 表示倒数第二列。

[root@znix files]# awk -F "[ :]+" '$1~/Zhang/{print $2,$(NF-1)}' reg.txt

Dandan 100

Xiaoyu 90

1.5.6 显示Xiaoyu的捐款.每个值时都有以$开头.如$520$200$135

tr 命令进行替换，格式比较简单tr  "要替换什么" "替换成什么"

[root@znix files]# awk '$2~/Xiaoyu/{print $4}' reg.txt |tr ":" "$"

$155$90$201

[root@znix files]# awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' reg.txt

$155$90$201

1.6 awk中的$0是什么鬼？

$0表示文件中整条记录（行）的内容，在这里加$0 与不加$0 相同。

[root@znix files]# awk '/Zhang/' reg.txt

Zhang Dandan    41117397   :250:100:175

Zhang Xiaoyu    390320151  :155:90:201

[root@znix files]# awk '$0~/Zhang/' reg.txt

Zhang Dandan    41117397   :250:100:175

Zhang Xiaoyu    390320151  :155:90:201

1.7 awk中的替换

在awk中，可以用来替换的有三个函数：sub gsub gensub

1.7.1 使用gusb 函数进行替换

       gsub(r, s [, t]) 

               r  /找谁/

               s  "替换成什么"

               [] 替换那个部分的

       表示为： gsub(/找谁/,"替换成什么",替换那个部分的)

1.7.2 替换文本中的内容

题目：显示Xiaoyu的捐款.每个值时都有以$开头.如$520$200$135

       中间使用分号分割 ;

[root@znix files]# awk '{gsub(/:/,"$",$NF);print $0}' reg.txt

Zhang Dandan 41117397 $250$100$175

Zhang Xiaoyu 390320151 $155$90$201

Meng Feixue 80042789 $250$60$50

Wu Waiwai 70271111 $250$80$75

Liu Bingbing 41117483 $250$100$175

Wang Xiaoai 3515064655 $50$95$135

Zi Gege 1986787350 $250$168$200

Li Youjiu 918391635 $175$75$300

Lao Nanhai 918391635 $250$100$175

       添加上限定条件后，取到的结果会更加的精确。

[root@znix files]# awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' reg.txt

$155$90$201

1.8 【练习题】判断当前系统上所有用户的shell是否为可登录shell（即用户的shell不是/sbin/nologin）,如果是显示用户名字

不包含：！，在awk中不包含可以使用！ 表示。

$NF        表示这个文件的最后一列

-F             将分隔符指定为：

[root@znix ~]# awk -F: '$NF!~/nologin$/{print $1}' /etc/passwd

root

sync

shutdown

halt

oldboy

oldgirl

test

stu01

stu02

stu03

znix

1.8.1 【对齐】输出的结果更美观整齐--column命令

-t  -t参数让他对齐。

[root@znix files]# awk 'BEGIN{print "姓","名"}{print $1,$2}' reg.txt |column -t

姓     名

Zhang  Dandan

Zhang  Xiaoyu

Meng   Feixue

Wu     Waiwai

Liu    Bingbing

Wang   Xiaoai

Zi     Gege

Li     Youjiu

Lao    Nanhai

 

第2章 awk中BEGIN 和 END

2.1 怎么把正则表达式作为条件

BEGIN：开始

              里面的内容会在awk读取文件之前运行

              在BEGIN里面定义awk的内置变量

      

END

END{} 里面放入内容，在读取完文件内容后执行

              先计算，在END里面输出结果 

              先计算再输出

2.1.1 【一个栗子】执行完输出后，再输出一个“结束”

[root@znix files]# awk '{print $0}END{print "结束"}' reg.txt

Zhang Dandan    41117397   :250:100:175

Zhang Xiaoyu    390320151  :155:90:201

Meng  Feixue    80042789   :250:60:50

Wu    Waiwai    70271111   :250:80:75

Liu   Bingbing  41117483   :250:100:175

Wang  Xiaoai    3515064655 :50:95:135

Zi    Gege      1986787350 :250:168:200

Li    Youjiu    918391635  :175:75:300

Lao   Nanhai    918391635  :250:100:175

结束

2.2 【企业案例】统计/etc/services文件里面的空行数量

2.2.1 使用awk的END模式

前面的i++先进行计算，再输出结果。

i=i+1 与i++ 相同。

[root@znix ~]# awk '/^$/{i=i+1}END{print i}' /etc/services

16

[root@znix ~]# awk '/^$/{i++}END{print i}' /etc/services

16

2.2.2 查看i++的执行过程

i++与i=i+1相同。

i=i+$0  累计相加 计算总和

i=i+1  i++   计数

[root@znix ~]# awk '/^$/{i++;print i}' /etc/services

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

2.2.3 其他方法：

uniq -c  uniq 命令把相邻两行一样的合并，-c为统计出现的次数

[root@znix ~]# awk '/^$/' /etc/services|uniq -c

    16

[root@znix ~]# awk '/^$/' /etc/services|wc -l

16

2.3 【案例】seq 100 >num.txt ，计算这个文件每一行相加的结果

i=i+$0  累计相加 计算总和

i=i+1  i++   计数

没有赋初始值的时候
i++ 先返回0,再加1,第二次调用的时候先返回1,再加1,以此类推

[root@znix ~]# awk '{i=i+$0}END{print i}' num.txt

5050

第3章 awk数组

3.1 数组是用来做什么的？

分类计算，用于统计。

3.1.1 他能够干些什么？

统计日志文件中 图片.jpg 出现了多少次

统计日志文件中 图片.png 出现了多少次

统计更累的信息

3.2 数组详解---"老男孩酒店"

假设我们的酒店叫老男孩教育酒店

老男孩教育酒店<===>hotel

酒店里面有几个房间110,119,120,114,401这几个房间。

老男孩教育酒店的110房间<===> hotel[110]

老男孩教育酒店的119房间<===> hotel[119]

老男孩教育酒店的120房间<===> hotel[121]

酒店房间里面入住客人

3.2.1 如何查看房间里住的是哪位客人？

[root@znix files]# awk 'BEGIN{hotel[110]="lidao" ;hotel[119]="tanjiaoshou";hotel[121]="taojin";print hotel[110],hotel[121],hotel[119]}'

lidao taojin tanjiaoshou

3.2.2 使用for语句，对酒店进行循环/查房

awk 'BEGIN{hotel[110]="lidao" ;hotel[119]="tanjiaoshou";hotel[121]="taojin";

for(pol in hotel) 

print pol,hotel[pol]

}'

格式：

for(变量 in 数组)  使用变量对酒店进行循环/查房

print pol,hotel[pol] ：

pol       得到-房间的号码

hotel[pol] 哪个酒店的哪个房间

[root@znix files]# awk 'BEGIN{hotel[110]="lidao" ;hotel[119]="tanjiaoshou";hotel[121]="taojin"

> for(pol in hotel)

> print pol,hotel[pol]

> }'

110 lidao

121 taojin

119 tanjiaoshou

3.3 【企业面试题】统计域名访问次数（去重统计）。处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)

http://www.etiantian.org/index.html

http://www.etiantian.org/1.html

http://post.etiantian.org/index.html

http://mp3.etiantian.org/index.html

http://www.etiantian.org/3.html

http://post.etiantian.org/2.html

3.3.1 方法一：sort uniq

uniq 命令 把相邻两行一样的合并

[root@znix ~]# awk -F '[/]+' '{print $2}' www.txt |uniq -c

      2 www.etiantian.org

      1 post.etiantian.org

      1 mp3.etiantian.org

      1 www.etiantian.org

sort 排序，默认是按照字母的顺序

[root@znix ~]# awk -F '[/]+' '{print $2}' www.txt |sort

mp3.etiantian.org

post.etiantian.org

www.etiantian.org

www.etiantian.org

www.etiantian.org

3.3.2 方法2 awk数组

3.3.2.1 第一步 取出域名

[root@znix ~]# awk -F '[/]+' '{print $2}' www.txt

www.etiantian.org

www.etiantian.org

post.etiantian.org

mp3.etiantian.org

www.etiantian.org

3.3.2.2 第二步 显示

; 两条命令之间用分号分割。

[root@znix ~]# awk -F '/+' '{hotel[$2]++;print hotel["www.etiantian.org"]}' www.txt

1

2

2

2

3

3.3.2.3 第三步 显示结果

[root@znix ~]# awk -F '/+' '{hotel[$2]++}END{for(pol in hotel)print pol,hotel[pol]}' www.txt

mp3.etiantian.org 1

post.etiantian.org 1

www.etiantian.org 3

第4章 课后题目：

两个文件  secure.zip  access.zip

4.1 统计secure文件中谁在破解你的密码（统计出破解你密码的ip地址出现的次数）

4.1.1 方法一

[root@znix test]# awk '/Failed/{fa[$(NF-3)]++}END{for(pol in fa)print pol,fa[pol]}' secure-20161219|column -t

218.65.30.126    17163

218.65.30.61     17163

125.16.71.175    4

169.46.38.74     9

183.136.238.78   30

218.2.0.16       10

122.228.238.66   1

……

4.1.2 方法二

[root@znix test]# awk '/Failed/{print $(NF-3)}' secure-20161219 |sort|uniq -c|sort -n  

4.1.3 结果统计

[root@znix test]# awk '/Failed/{fa[$(NF-3)]++}END{for(pol in fa)print pol,fa[pol]}' secure-20161219|column -t|wc -l

88

4.2 统计access.log文件中对ip地址去重并统计重复数

[root@znix test]# awk '{hotel[$1]++}END{for(pol in hotel)print pol,hotel[pol]}' access.log |head -3

101.226.125.115 284

180.154.137.177 516

101.226.125.116 127

4.3 统计access.log文件中网站一共使用了多少流量

[root@znix test]# awk '{i=i+$10}END{print i}' access.log

2478496663

weixin_34418883
关注
awk用法详解
11-17
### awk用法详解 #### 一、awk简介 awk是一种专为文本处理设计的脚本语言，具有简单、高效的特点。它可以轻松地处理结构化的文本数据，并具备多种内置功能，适用于快速开发各种实用脚本。 #### 二、awk的特点 1....
linux shell将字符串分割数组
热门推荐
bitcarmanlee的博客
03-24 2万+
经常用将字符串分割为数组的需求。在shell中常用的方式为以下两种 #!/bin/bash function split_1() { x="a,b,c,d" OLD_IFS="$IFS" IFS="," array=($x) IFS="$OLD_IFS" for each in ${array[*]} do echo
AWK高端功能-数组
惨绿少年 | 欢迎访问CLSN博客站点 http://clsn.io
10-09 280
第1章 awk命令基础 1.1 awk命令执行过程 1、如果BEGIN 区块存在，awk执行它指定的动作。 2、awk从输入文件中读取一行，称为一条输入记录。如果输入文件省略，将从标准输入读取 3、awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量FS或由参数指定。 4、把当前输入记录(...
awk数组详解、实战
weixin_30340819的博客
11-23 780
1.其它编程语言数组的下标一般从0开始,awk中数组下标默认从1开始,也可以从0开始设置: awk 'BEGIN{huluwa[0]="大娃";huluwa[1]="二娃";huluwa[3]="三娃";print huluwa[1]}' 二娃 awk 'BEGIN{huluwa[0]="大娃";huluwa[1]="二娃";huluwa[3]="三娃";huluwa[4]="";pri...
1. R语言中grep函数和gsub()函数的使用
weixin_48275332的博客
03-24 9228
1.grep 函数 1）语法结构 grep(pattern, x, ignore.case = FALSE, perl = FALSE, value = FALSE, fixed = FALSE, useBytes = FALSE, invert = FALSE) 各参数的含义如下： （1）pattern: 字符串类型，正则表达式，指定搜索模式，当将fixed参数设置为TRUE时，也可以是一个待搜索的字符串。 （2）x : 字符串向量，用于被搜索的字符串。 （3）ignore.case: 是否忽略大小写。为
linux awk 数组的学习心得
jesseen的专栏
09-14 864
在文本处理的工作中，awk的数组是必不可少的工具，在这里，同样以总结经验和教训的方式和大家分享下我的一些学习心得，如有错误的地方，请大家指正和补充。 awk的数组，一种关联数组（Associative Arrays），下标可以是数字和字符串。因无需对数组名和元素提前声明，也无需指定元素个数 ，所以awk的数组使用非常灵活。 首先介绍下几个awk数组相关的知识点： 建立数组
AWK命令详解
01-05
### AWK命令详解 #### 什么是AWK？ AWK，源于其创造者Aho、Weinberg和Kernighan的首字母缩写，是一种在Unix系统中广泛使用的强大文本处理工具。它不仅是一个文本模式匹配工具，更是一种完整的编程语言，能够执行...
linux ，awk ，awk详解
09-15
3. **获取环境变量**：awk 内置变量 `ENVIRON` 是一个关联数组，可以直接访问所有的环境变量。例如，`awk 'BEGIN{for (i in ENVIRON) {print i"="ENVIRON[i];}}'` 将打印出所有环境变量及其值。 在 awk 中，记录...
awk命令详解
09-21
- **ARGV**: 参数数组。 - **FILENAME**: 当前处理的文件名。 - **FNR**: 当前行号（针对每个文件）。 - **FS**: 字段分隔符。 - **RS**: 记录分隔符，默认为换行符。 - **NF**: 当前行的字段数。 - **NR**: 文件的...
LINUX下awk命令详解
01-14
### Linux 下 awk 命令详解 #### 一、引言 `awk` 是一个功能强大的文本处理工具，在 Unix 和类 Unix 操作系统（如 Linux）中被广泛使用。它不仅可以进行模式匹配，还能执行复杂的文本处理任务。本文将详细介绍 `awk...
3、awk 数组的高级操作和技巧
最新发布
qq_41046492的博客
10-24 1155
这一章主要讲一下awk 数组的操作和一些小技巧，awk的伪多维数组的创建，数组元素的删除，数组的排序，关联数组的应用。
shell awk转成数组
gonaYet的博客
07-04 1万+
在编写shell时，需要将awk转换成合适的数组类型: ( $(echo `cat $file | awk '{print $1}'`))
awk编程——数组
知道的越多，不知道的越多
07-02 293
关联数组 关联数组是指数组的索引不仅仅是数字，也可以是字符串，关联数组在索引和数组元素值之间建立起关联，对每一个数组元素，awk自动维护了一对值：索引和数组元素值。关联数组的值无需以连续的地址进行存储。awk的所有数组都是关联数组。 如：array[09]制定一个数组值，如果换成array[9]就不能指定与array[09]相同的值。
awk数组与语法
hyunbar的博客
07-07 4260
1、awk数组 1.1 数组结构 1.2 数组分类 索引数组：以数字为下标 关联数组：以字符串为下标 1.3 awk关联数组 现有如下文本，格式如下：即左边是随机字母，右边是随机数字, 即将相同的字母后面的数字加在一起，按字母的顺序输出 以$1为下标，创建数组a[$1]=a[$1]+$2 或者（a[$1]+=$2）然后配合END和for循环输出结果： for(i in a ) ：...
awk数组
thinker
06-28 1420
这篇文章中的知识点是建立在前文的基础上的，如果你还没有掌握前文中的知识，请先参考之前的文章。 注：在阅读这篇文章之前，最好已经了解了一些开发的基本语法，比如，for循环、数组的基本使用 等，否则在阅读时 有可能遇到障碍。 前文中提及过，awk其实可以算作一门脚本语言，因为它包含了一个脚本语言的各种语法结构，比如条件判断语句，比如循环语句，那么，awk中能否使用"数组"呢？必须能啊，今天我们就来聊聊awk中的数组。 如果你有过任何一种编程语言的使用经验，那么你一定知道，我们可以通过数组的下标..
awk切分字符串赋值到一个数组变量
qq_24955485的博客
06-21 6406
testStr1="y='2019',m='06',d='21',h='12'" 分区字段 testArr=(`echo ${testStr1}|awk '{len=split($0,a,",");for(i=1;i<=len;i++) print a[i]}'`) echo ${testArr[0]} 输出y='2019' echo ${testArr[1]} 输出m='06'...
gsub函数
weixin_45546960的博客
03-27 7475
gsub函数语法：gsub("替换对象”，“替换成什么内容”，哪一列） gsub与后面的括号之间不能有空格。 替换对象、替换成什么内容以及哪一列之间要用逗号分隔开。 替换对象的外面要有双引号或双斜线包裹起来，即“替换对象”或/替换对象/。 替换成什么内容就只能用双引号包裹起来了，即“替换成什么内容”。 不指定哪一列，即默认为$0,替换整行复合要求的字符。 sub就表示在满足条件得域里面替换第一个字...
awk循环获取每行数值赋值给变量
weixin_43808555的博客
02-06 3154
今天写了个批量删除docker容器的脚本 #!/bin/bash for id in docker ps -a | awk '{print $1}' | sed -n '2,$p' do docker rm $id done 说明：awk过滤出来的按行排列的可以直接用反撇号取结果，赋值给循坏变量 ...
linux——awk（7）：awk数组详解
weixin_44056331的博客
09-22 2705
awk中数组的使用。我们在其他语言中经常会使用到数组，awk中也可以使用。示例如下： 与其他不同的是，awk中的数组元素值可以设置为”空字符串“，当设定某一个元素为”空字符串“时，打印出的值就是为”空“（注：”空格“不为”空“）。鉴于awk中，元素的值可以为”空“，我们就不能根据元素的值是否为”空“去判断元素是否存在了。另外即使在模式中没有提前设定某个字符的存在，如果print中进行了引用，...
AWK编程语言详解
7. **数组**：AWK的数组是关联数组，允许用任何字符串作为索引，这在处理复杂的数据结构时非常有用。 8. **模式和动作的组合**：多个模式和动作可以组合在一起，形成复合模式，实现更复杂的逻辑。 9. **正则表达式**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值