shell之三剑客awk(基础用法)
一、awk概述
AWK是一种处理文本文件的语言,是一个强大的文件分析工具。
它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描,过滤,统计汇总等工作,数据可以来自标准输入也可以是管道或文件。
1、awk工作原理
当读到第一行时,匹配条件,然后执行指定动作,在接着读取第二行数据处理,不会默认输出。
如果没有定义匹配条件,则是默认匹配所有数据行,awk隐含循环,条件匹配多少次,动作就会执行多少次。
逐行读取文本,默认以空格或tab键为分割符进行分割,将分割所得的各个字段,保存到内建变量中,并按模式或或条件执行编辑命令。
与sed工作原理相比:
sed命令常用于一整行的处理。而awk比较倾向于将一行分成多个 “ 字段 ” 然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符。(&&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算,如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。)
二、awk的格式
格式1: awk 【选项】 '模式或条件{操作} ' 文件名
格式2: awk -f 脚本文件 文件名
1、awk包含几个特殊的内建变量(可直接用)如下所示
内置变量 | 功能 |
---|---|
NF | 当前处理的行的字段个数(就是:有多少列) |
NR | 当前处理的行的行号(就是:有多少行) |
FNR | 读取文件的记录数(行号),从1开始,新的文件重新从1开始计数 |
$0 | 当前处理的行的整行内容(就是:表示一行的内容) |
$n | 当前处理行的第n个字段(就是:第n列) |
FILENAME | 被处理的文件名 |
FS | 指定每行的字段分隔符,默认为空格或制表位(相当于选项 -F ) |
OFS | 输出字段的分隔符,默认也是空格 |
RS | 行分割符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录,而awk一次仅读取一条记录,预设值是“\n“ |
ORS | 输出分割符,默认也是换行符 |
三、swk基本用法和注意事项
#awk里面只能使用""号
[root@kh2 ~]# awk 'BEGIN{print "hello world"}'
hello world
[root@kh2 ~]# awk "BEGIN{print 'hello world'}" #里面使用单引号报错
awk: cmd. line:1: BEGIN{print 'hello world'}
awk: cmd. line:1: ^ invalid char ''' in expression
awk: cmd. line:1: BEGIN{print 'hello world'}
awk: cmd. line:1: ^ syntax error
#通过echo输出hello world
[root@kh2 ~]# echo | awk '{print "hello world"}'
hello world
#有三个空格输出三个hello world
[root@kh2 ~]# echo -e "\n \n" | awk '{print "hello world"}'
hello world
hello world
hello world
[root@kh2 ~]# echo -e "\n \n"
[root@kh2 ~]#
#输出文件里面的句子
[root@kh2 ~]# echo 'hello,world!!!' > a
[root@kh2 ~]# cat a
hello,world!!!
[root@kh2 ~]# awk '{print}' a
hello,world!!!
[root@kh2 ~]#
基本使用方法,输出/etc/passwd文件下面的第一列
-F 后面接分隔符
[root@kh2 ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
#不通过其它介子,直接输出
[root@kh2 ~]# awk 'BEGIN{print "hell world"}'
hell world
akw语法:
[root@kh2 ~]# awk ‘BEGIN{开始的任务}{主体}END{处理完之后的任务}’
语法结构
awk 选项 ‘命令部分’ 文件名
awk 选项 ‘BEGIN{开始处理之前};{处理中};END{处理结束后}’ 文件名
内部相关变量
$0 当前处理行的所有记录
$1,$2,$3 … $n 文件中每行以间隔符号分割的不同字段
NF 当前记录的字段数(列数)
$NF 最后一列
FNR/NR 行号
FS 定义间隔符
OFS 定义输出字段分隔符,默认空格
RS 输入记录分割符,默认换行
ORS 输出记录分割符,默认换行
间隔符号分割的不同字段
NF 当前记录的字段数(列数)
$NF 最后一列
FNR/NR 行号
FS 定义间隔符
OFS 定义输出字段分隔符,默认空格
RS 输入记录分割符,默认换行
ORS 输出记录分割符,默认换行