【Shell语言】linux中awk命令

linux中awk命令

看这里放声嘶吼谁也不舍得沉默
宽阔也抓不住我下一秒钟的echo
——《暂时失控》苏打绿

---

awk命令简介

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符
linux中有三剑客之称：
三剑客之首就是 AWK

三剑客功能:

• grep ： 过滤文本
• sed : 修改文本
• awk : 处理文本

awk的语法格式

awk [参数] [处理内容] [操作对象]

awk关键字

print	: 打印
$		: 取值
结合作用:
	$配合NF使用 : NF内存储统计文件内每行的总字段，$存储NF内的值
	NF	：相当于 变量值	$	：相当于 变量名
	print相当于打印 $ 内的内容

options 参数说明：

-F <分隔符> 或 --field-separator=<分隔符>： 指定输入字段的分隔符，默认是空格。使用这个选项可以指定不同于默认分隔符的字段分隔符。

-v <变量名>=<值>： 设置 awk 内部的变量值。可以使用该选项将外部值传递给 awk 脚本中的变量。

-f <脚本文件>： 指定一个包含 awk 脚本的文件。这样可以在文件中编写较大的 awk 脚本，然后通过 -f 选项将其加载。

-v 或 --version： 显示 awk 的版本信息。

-h 或 --help： 显示 awk 的帮助信息，包括选项和用法示例。

以下是一些常见的 awk 命令用法

打印整行：

awk '{print}' file
打印特定列：

awk '{print $1, $2}' file
使用分隔符指定列：

awk -F',' '{print $1, $2}' file
打印行数：

awk '{print NR, $0}' file
打印行数满足条件的行：

awk '/pattern/ {print NR, $0}' file
计算列的总和：

awk '{sum += $1} END {print sum}' file
打印最大值：

awk 'max < $1 {max = $1} END {print max}' file
格式化输出：

awk '{printf "%-10s %-10s\n", $1, $2}' file

awk常见的内建变量

• FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
• NF：当前处理的行的字段个数。
• NR：当前处理的行的行号（序数）。 $0：当前处理的行的整行内容。 $n：当前处理行的第n个字段（第n列）。
• FILENAME：被处理的文件名。
• RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把读取的资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
  按行输出文本:

awk '{print}' name.txt				#输出所有内容
awk '{print $0}' name.txt			#输出所有内容

awk 'NR==1,NR==3 {print}' name.txt	#输出第 1~3 行内容
awk 'NR==1;NR==3 {print}' name.txt	#输出第 1和第3 行内容
awk '(NR>=1)&&(NR<=3) {print}' name.txt	#输出第 1~3 行内容
awk 'NR==1||NR==3{print}' name.txt	#输出第1行、第3行内容

awk '(NR%2)==1{print}' name.txt 		#输出所有奇数行的内容
awk '(NR%2)==0{print}' name.txt		#输出所有偶数行的内容

awk '/^root/{print}' /etc/passwd		#输出以 root 开头的行
awk '/nologin$/{print}' /etc/passwd		#输出以 nologin 结尾的行

使用正则，字符串匹配

# 输出第二列包含 "th"，并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

OFS : 指定打印分隔符(默认空格)

案例:(输出的意思 分隔符会打印出来)

awk -F: 'BEGIN{OFS=" >>> "}{print $NF, $1}' /etc/passwd
 

awk脚本

关于 awk 脚本，我们需要注意两个关键词 BEGIN 和 END。

BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句}

计算文件大小

$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581

从文件中找出长度大于 80 的行：

awk 'length>80' log.txt

流程控制

简介:
流程控制只存在循环之中

if：
 
awk -F: '{if($3>$4){print "大于"}else{print "小于或等于"}}' /etc/passwd

解析:

判断文件 第三列大于第四列的话打印(大于) 不大于 else

if 使用格式:
 
if(){}				   : 但分支
 
if(){}else{} 		   : 双分支
 
if(){}else if(){}else{}	: 多分支
 

for每一行打印10次

for 使用格式

awk -F: '{for(i=10;i>0;i--){print $0}}' /etc/passwd
 

解析:

i-- 相当于python中的 i-=1 : i=i-1

减到条件不成立为止

格式:

fro(i="初始值":条件判断：游标){}

while每一行打印10次

while 使用格式

 
awk -F: '{i=1; while(i<10){print $0, i++}}' /etc/passwd

解析:

i++ 相当于python中的 i+=1

加到条件不成立为止

格式:

while(条件判断){}

---