shell文本处理三剑客之awk详解

最新推荐文章于 2023-03-14 22:30:06 发布
最新推荐文章于 2023-03-14 22:30:06 发布
阅读量319 收藏
点赞数
分类专栏： shell脚本基础篇 文章标签： awk shell linux centos 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43272125/article/details/113861503
版权

文本处理：awk

语法：
awk  [选项]   '命令'    文件
awk   [options]   'commands'      filenames （推荐）
命令：
 BEGIN 行处理之前（注意大写）
	{ } 	行处理时
	END 	行出来之后
	\n 		回车符
	\t		空格
内部变量：

FS：输入字段分隔符（默认空格）

[root@localhost ~]# awk -F: '{print $1, $3}' /etc/passwd | head -1
root 0
或
[root@localhost ~]# awk -F'[ :\t]' '{print $1,$2,$3}' /etc/passwd | head -1
root x 0
或
[root@localhost ~]# awk 'BEGIN{FS=":"} {print $1,$3}' /etc/passwd | head -1
root 0

OFS：输出字段分隔符

[root@localhost ~]# awk -F: '{print $1,$2,$3,$4}' /etc/passwd | head -1
root x 0 0

[root@localhost ~]# awk -F: 'BEGIN{FS=":";OFS="+++"}{print $1,$2,$3,$4}' /etc/passwd | head -1
root+++x+++0+++0

RS：输入记录（行）分隔符，默认换行符

[root@localhost ~]# awk   '{print $0}' a.txt 
111 222 333 444 555:666:777
[root@localhost ~]# awk 'BEGIN{RS="   "}{print $0}' a.txt 
111
222
333
444
555:666:777
请注意，在此时记录已经不是行的概念了。分隔符由”换行符“换成了”空格“

[root@localhost ~]# awk 'BEGIN{RS=" ";ORS="+++"}{print $0}' a.txt 
111+++222+++333+++444+++555:666:777
输出记录分隔符换成了“+++”。如果不指定输出记录分隔符会如何呢？

ORS：输出记录（行）分隔符，默认换行符
FNR：多文件独立编号
NR多文件汇总编号

[root@localhost ~]# awk -F: '{print NR, $0}' /etc/centos-release /etc/hosts
1 CentOS Linux release 7.3.1611 (Core) 
2 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
3 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# awk -F: '{print FNR, $0}' /etc/centos-release /etc/hosts
1 CentOS Linux release 7.3.1611 (Core) 
1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
字段总数
[root@localhost ~]# awk -F: '{print NF, $0}'  /etc/passwd
7 root:x:0:0:root:/root:/bin/bash
7 bin:x:1:1:bin:/bin:/sbin/nologin
7 daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# awk -F: '{print NF, $NF}'  /etc/passwd
7 /bin/bash
7 /sbin/nologin
7 /sbin/nologin
格式化输出：

print 函数

[root@localhost ~]# date |awk '{print "Month: " $2 "\nYear: " $1}'
Month: 11月
Year: 2017年
\n换行符
想输出文字，用引号
[root@localhost ~]# awk -F: '{print "username is: " $1 "\t uid is: " $3}' /etc/passwd | head -1
username is: root	 uid is: 0
root@localhost ~]# awk -F: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd  | head -1
username and uid: root 0!

printf 函数
语法：

		%s 字符类型
		%d 数值类型
		%f 浮点型，可以定义保留
			占15字符
		- 表示左对齐，默认是右对齐
		printf默认不会在行尾自动换行，加\n
		, 逗号，输出字段分隔符
示例
[root@localhost ~]# awk -F: '{printf "%-10s %-10s %-15s\n", $1,$2,$3}' /etc/passwd | head 
[root@localhost ~]# awk -F: '{printf "|%-15s| %-10s| %-15s|\n", $1,$2,$3}' /etc/passwd | head
[root@localhost ~]# awk -F: '{printf "|%-15s| %-15s| %0.1f|\n", $1,$2,$3}' /etc/passwd | head
[root@lwq ~]# head -3 /etc/passwd |awk -F":" '{printf "%-10s %-10s %-10s\n",$1,$2,$3}'
{-是向左对齐   %10s是每段占10个字符  \每行结束输出一个回车}
root           x          0         
bin            x          1         
daemon         x          2
模式（正则表达）和动作

模式：可以是条件测试，正则，复合语句
动作：可以是打印，计算等。
概念:

任何awk语句都由模式和动作组成。模式部分决定动作语句何时触发及触发事件。
如果省略模式部分，动作将时刻保持执行状态。每一行都会有动作。
模式可以是任何条件语句或复合语句或正则表达式。有模式的话，就是对模式对应的行进行动作。

字符串比较
awk    '/^root/'/etc/passwd    			#/^root/ （root开头的）

awk '$0 ~ /^root/' /etc/passwd			#~像是以root开头 模糊查询

awk '$0!~/^root/' /etc/passwd			#！取反

awk -F: '$1 ~ /^root/' /etc/passwd     #第一列以root开头的行
数值比较：

比较表达式采用对文本进行比较，只有当条件为真，才执行指定的动作。比较表达式使用关系运算符，
用于比较数字与字符串。

关系运算符：

运算符 		含义 			示例
< 			小于 			x<y
<= 			小于或等于 		x<=y
== 			等于		 		x==y
!=		 	不等于			x!=y
>= 			大于等于 		x>=y
> 			大于 			x>y

示例：

awk -F: '$3 == 0' /etc/passwd 		第三列等于0
awk -F: '$3 == 1' /etc/passwd 		第三列等于1
awk -F: '$3 < 10' /etc/passwd		第三列小于10
== 也可以用于字符串判断
awk -F: '$7 == "/bin/bash"' /etc/passwd		第七列等于/bin/bash
awk -F: '$1 == "alice"' /etc/passwd			第一列等于alice

算术 运算

语法
	+ - * / %(模) ^(幂2^3) 
示例
	awk -F: '$3 * 10 > 500' /etc/passwd
多条件：
逻辑操作符和复合模式

&&：并且 ||或者

awk -F: '$1~/root/ && $3<=15'	 	/etc/passwd
awk -F:	 '$1~/root/ || $3<=15'		/etc/passwd
awk -F:	 '!($1~/root/ || $3<=15)' 	/etc/passwd
范围模式：

语法：

awk '/从哪里/,/到哪里/' filename

示例：

awk -F: '/adm/,/lpd/' /etc/passwd	从adm到ldp，显示出来,注意避免匹配重复的字段。
awk脚本编程：
变量
awk调用变量
	自定义内部变量 -v
	awk -v user=root -F: '$1 == user' /etc/passwd
	-v定义变量
外部变量 “ ‘ ”
	双引号
	var="bash"
	echo "unix script" | awk "{print "123",\"$var\"}"
	123 bash
注意 awk调用外部变量时，外部使用双引号，内部也使用双引号，但需要转义内部的双引号
	单引号
	var="bash"
	echo "unix script" |awk '{print $1,"'"$var"'"}'
	unix  bash
注意使用单引号时，内部需要用双引转义
条件&判断

if语句：

	格式
		{if(表达式)｛语句;语句;...｝}
	示例
		需求
			如果$3是0,就说他是管理员
		awk -F: '{if($3==0) {print $1 " is administrator."}}' /etc/passwd
		需求
			统计系统用户数
		awk -F: '{if($3>0 && $3<1000){count++;}} END{print count}' /etc/passwd

if…else语句：

格式
			{if(表达式)｛语句;语句;...｝else{语句;语句;...}}
	{if(){}else{}}
		示例
			需求
				如果第三列是0，打印该行第一列，否则打印第七列，登录shell
			示例
				awk -F: '{if($3==0){print $1} else {print $7}}' /etc/passwd
			需求
				统计管理员和系统用户数量
			示例
				awk -F: '{if($3==0){count++} else{i++}} END{print "管理员个数: "count ; print "系统用户数: "i}' /etc/passwd

if…else if…else语句：

格式
	{if(表达式1)｛语句;语句；...｝else if(表达式2)｛语句;语句；...｝else if(表达式3)｛语句;语句；...｝else｛语句;语句；...｝}
	if (条件){动作}elseif(条件){动作}else{动作}
	if(){}else if  (){}else if(){}else{}
示例

需求:
显示出三种用户的信息
管理员：管理员ID为0
内置用户：用户ID<1000
普通用户： 用户ID>999

示范：

[root@localhost ~]$ awk -F:  '{if($3==0){print $1," is admin "}else if ($3>999){print $1," is user"}else {print $1, " is sofo user"}}'  /etc/passwd
root  is admin 
bin  is sofo user
daemon  is sofo user
adm  is sofo user
lp  is sofo user
sync  is sofo user
shutdown  is sofo user
halt  is sofo user
mail  is sofo user
operator  is sofo user
games  is sofo user
ftp  is sofo user
nobody  is sofo user
systemd-network  is sofo user
dbus  is sofo user
polkitd  is sofo user
tss  is sofo user
postfix  is sofo user
chrony  is sofo user
sshd  is sofo user
aofa  is user
apache  is sofo user
示例

题目：
统计出三种用户的数量
管理员数量：管理员ID为0
内置用户数量：用户ID<1000
普通用户数量： 用户ID>999

awk -F: '{if($3==0){i++} else if($3>999){k++} else{j++}} END{print i; print k; print j}' /etc/passwd

升级

awk -F: '{if($3==0){i++} else if($3>999){k++} else{j++}} END{print "管理员个数: "i; print "普通用个数: "k; print "系统用户: "j}' /etc/passwd
循环
while
循环打印10个数字
awk 'BEGIN{  while(i<=10){print i; i++} }'
示范
[root@localhost ~]# awk 'BEGIN{ i=1; while(i<=10){print i; i++} }' 
1
2
3
4
5
6
7
8
9
10
第一行打印十次
awk -F: '{ while(i<=9) {print $0; i++}}'  passwd
for
循环打印5个数字
awk 'BEGIN{for(i=1;i<=5;i++){print i} }'
不适用BEGIN可以吗？
{},和END{}可以吗？可以需要有文件。
将每行打印10次
awk -F: '{ for(i=1;i<=10;i++) {print $0} }' /etc/passwd
打印每一行的每一列
awk -F: '{ for(i=1;i<=NF;i++) {print $i} }' passwd
说明：NF是最大列数，循环打印了每一列。
awk -F: '{ for(i=1;i<=NF;i++) {print $i} }' passwd
root
x
0
0
root
/root
/bin/bash
数组
定义数组
需求
将用户名定义为数组的值，打印第一个值
awk -F: '{username[++i]=$1} END{print username[1]}' /etc/passwd
root
数组遍历
按索引遍历
[root@localhost ~]$ awk -F: '{username[x++]=$1} END{for(i in username) {print i,username[i]} }' /etc/passwd
10 games
11 ftp
12 nobody
13 systemd-bus-proxy
14 systemd-network
15 dbus
16 polkitd
30 chrony
17 abrt
31 ntp
18 unbound

awk编程案例

1. 统计/etc/passwd中各种类型shell的数量

 awk -F: '{shells[$NF]++} END{ for(i in shells){print i,shells[i]} }' /etc/passwd
提示
$NF 最后一列的字段内容
{}行处理
把统计的对象，作为索引。每次递增。
Print i  打印索引
Shells[i]  数组加索引，显示的就是值。

2. 统计Apache/Nginx日志中的访问前十　<统计日志>

cat  access_log |awk '{ips[$1]++} END{for(i in ips){print i,ips[i]} }' |sort -k2 -rn |head
半仙运维
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Shell文本处理工具–awk
12-21
awk 用法： awk　-F 分隔符 BEGIN{}{}END{}　FILENAME　默认以空格为分隔符 BEGIN和END可以忽略不写。 NR #显示行数 NF #列数 以冒号为分隔符，每一行的列数。 以bash结尾的行的列数。 打印出以bash结尾的行。...
shell编程三剑客awk
cyx1834265118的博客
09-10 295
一.前言 awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。 数据可以来自标准输入、一个或多个文件，或其它命令的输出。 它支持用户自定义函数和动态正则表达式等先进功能，awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。 如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Peter Weinberger、 Kern
Shell 命令：echo 与换行符
weixin_45381845的博客
10-18 8438
n 不输出末尾的换行符（echo 默认会给输出的文本添加一个换行符）-e 对转义字符进行解释。echo 显示一行文本。字符进行解释（默认）
shell 参数换行 & shell 颜色输出换行、高亮
热门推荐
Donald Su
08-21 9万+
1. shell 参数换行 Linux参数太长，一般可取续行符 "\"进行参数换行/续行。反斜杠\ 后面紧跟回车，表示下一行是当前行的续行. 如下的代码所示 python target_attack.py \ --input_dir="${INPUT_DIR}" \ --output_dir="${OUTPUT_DIR}" \ --max_epsilon="${MAX_EPSILON}...
【shell编程】shell脚本换行问题
flyflyflya的博客
05-02 3万+
Shell换行问题 read换行
linux shell脚本换行符,如何在Bash Shell中使用换行符（\n）
weixin_34609222的博客
04-30 1万+
本篇文章给大家介绍的内容是关于如何在Bash Shell中使用换行符(\n)，下面我们就来看具体的内容。我们首先来看一下命令使用以下命令在bash shell脚本中使用\n打印换行符。printf “first line\nsecond line\n”bash中\n的用法\ n(换行)用作基于Unix的系统的换行符。下面是在bash shell脚本中使用换行符的简单示例。双引号中的字符串：$ ec...
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 ...
shell–awk（文本三剑客之一）
01-07
awk awk编程模型 正则表达式的扩展 awk Perl等还支持正则表达式扩展出来的一些元字符 符号 意义 ? 匹配0个或1个在其之前的字符 + 匹配一个或多个在其之前的字符 ( ) 表示一个字符集合或用在expr中 ...
shell 里 awk print 的用法详解
01-09
首先， 你需要先了解awk 的工作原理: 1。AWK读取输入文件一次一行。 2。对于每一行，它匹配在给定的顺序模式，如果匹配，执行相应的动作。 3。如果没有模式匹配，将执行任何行动。 4。在上面的语法，无论是搜索模式...
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大部分linux只支持基本的正则表达式。 hel...
Shell：换行符
OceanStar的博客
08-27 1753
tar -zcvf cutimge_20200827.tar.gz cutimage/
awk 打印行号和整行数据
Lemoneasy的专栏
11-19 5万+
awk '{print NR}' filename；
awk 打印每一个值
一杯派蒙的博客
05-04 2769
awk 打印每一个值 for host in $(echo "hello,niya" | awk -F "," '{for(i=1;i&lt;=NF;++i) print $i}');do echo $host done
awk如何取出它的每一行和某一列的某个元素
bang152101的博客
01-20 1867
我自己举例吧： NR==2，指定第二行，NR（Number of Record，记录数，awk中默认一行为一个记录） print $3，打印第三列 最后输出第二行第三列的元素。 ============================================================= awk进行列求和【awk '{a+= $0}END{print a}'】： ...
Linux运维之——每日小技巧，使用awk命令截取每行的指定列数据
weixin_34101229的博客
12-18 1903
获取/etc/passwd目录下的UID值小于10的数，并输出第一、三列 [root@:vg_adn_tidbCkhsTest:172.31.30.62 ~]#cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t" $3}' root 0 bin 1 daemon 2 adm 3 lp ...
Shell 脚本参数传递时有 \r 换行符问题
keepandkeep的博客
03-14 2786
]替换成具体列名后，好家伙，执行时首先把job的配置文件内容打印出来，一看，dbname和tablename后都有\r。Windows体系里面，每行结尾是"”，即"\n\r”。所以当从Windows上把脚本放入Linux上后，会把"\n\r”一起带入。Unix体系里，每行结尾只有"”，即"\n"；allSyncTask.sh：脚本名称，自定义。“] write端字段数为0,把[”来由：datax 使用 [“
网络信息检索（四）文本处理与索引
csyifanZhang的博客
03-25 1627
文章目录一、文本特性1：文本的统计特性-zipf定律2：词汇表的变化规律-Heaps定律二、文本操作1：文本预处理（1）文本预处理的时机（2）文本预处理的步骤2：词汇分析（1）英文词法分析（2）中文分词技术3：排除停用词4：词干提取三、文本索引1：索引在IR系统的位置（1）为什么需要索引（2）什么样的数据结构是合适的？前向索引？2：倒排索引的思想（1）**词汇表结构**（2）**事件表的内容**（...
一篇完整教会shell三剑客----awk
qq_49096000的博客
09-02 1262
awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具。简单地讲，awk是一种处理文本数据的编程语言。awk的设计使得它非常适合于处理由行和列组成的文本数据。而在Linux或者UNIX环境中，这种类型的数据是非常普遍的。除此之外，awk 还是一种编程语言环境，它提供了正则表达式的匹配，流程控制，运算符，表达式，变量以及函数等一系列的程序设计语言所具备的特性。它从C语言中获取了一些优秀的思想。awk程序可以读取文本文件，对数据进行排序，对其中的数值执行计算以及生成报表等。
shell的文本三剑客
最新发布
08-24
Shell 的文本三剑客是指 grep、sed 和 awk。 1. grep (Global Regular Expression Print) 是一个强大的文本搜索工具，它可以搜索文件中符合指定模式的行，并将其打印出来。grep 支持正则表达式，可以用来快速过滤和查找特定的文本内容。 2. sed (Stream Editor) 是一个流式文本编辑器，它可以实现对文本的插入、删除、替换、追加等操作。sed 通常与正则表达式结合使用，对文本进行灵活的处理，常用于文本的批量处理和转换。 3. awk 是一种功能强大的文本分析工具，它可以从文本文件中提取数据，并按照指定规则进行处理和统计。awk 支持自定义变量、条件判断、循环和函数等特性，可以用于快速解析结构化的文本数据。 这三个工具在 Shell 脚本编程和命令行操作中非常常用，可以帮助用户高效地处理和操作文本内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值