linux中awk基本用法,awk基本用法

一、awk介绍

awk、sed&grep都可以匹配文本，但sed和awk可以对文本进行编辑，grep则不具有此功能；sed是非交互式的流编辑器，而awk则是一门模式匹配的编程语言。awk主要用于处理匹配的文本，同时awk还支持编程语言的一些特性，如变量、函数、循环语句等。

二、基本用法

1)awk [options] 'program' File1,File2…

program：Pattern{Action Statements}

program通常位于单引号中，多个action语句之间用逗号分隔。

2)awk [options] 'BEGIN{ action;… } pattern{ action;… } END{action;… }' file …

常用action：print printf

常用options：

-F：指明输入时用到的字段分隔符

-v var=value：声明变量

三、awk的工作原理

1)在处理文本之前，若存在BEGIN语句块，则先执行此语句块中的语句。

2)将输入的文本或标准输入按回车(\n)分割，解析为多个记录(record,默认以\n分隔，记录的分割符可以同过awk的内置变量RS来更改)。

3)记录会被切割成多个字段(filed，默认情况下，以空白字符切割不同的字段，包括空格和制表符，字段的分隔符可以通过-F选项及awk内置变量FS来指定)，并将第一个字段存放在$1中，第二个字段存放在$2中，倒数第二个字段存放在$(NF-1)，最后一个字段存放在$NF中。$0则表示匹配到的整条记录。

4)如果读取到的记录与pattern想匹配，则执行器指定的action；若不匹配，则跳过action，直到完成所有的语句。

5)当以条输入记录处理完成之后，继续读取下一条记录，重复上面的动作，直到处理完全部的输入。若果输入的是文件列表，awk将按顺序处理列表中的文件。

6)awk处理完所有的输入之后，若存在END语句块，则执行END语句块中的语句。

BEGIN、END语句都是可选的。

四、awk调用方式

主要有三种调用方式，分别为：

1) awk命令行

可以在命令行中使用awk 程序设计语言，也可以在shell script 程序中引用awk 命令行甚至awk 程序脚本。

2)使用-f 选项调用awk 程序

awk允许将一段awk 程序写入一个文本文件，然后在awk 命令行中用-f 选项调用并执行这段程序。

3)利用命令解释器调用awk 程序

利用命令解释器功能，我们可以将一段awk 程序写入文本文件，然后在它的第一行加上#!/bin/awk –f.

五、awk使用详解

1、print：用于输出指定的内容

print item，item2，…

要点：

1)逗号分隔多个item

2)输出的各item可以为字符串，也可以是数值、当前记录的字段、变量、awk表达式

3)如省略item，相当于print $0，即输出被pattern匹配的记录。

例：在系统上每个用户名之前加上hello

例：

2、printf命令

用于格式化输出：printfFormat，item1，item2，….

1)Format 必须给出

2)不会自动换行，需要给出换行控制符，\n

3)Format中需要分别为后面的每个item指定一个格式化符号。

格式符：

%c：不现实字符本身，而是显示字符的ASCII码

%d,%i：显示十进制整数

%e，%E：以科学记数法数值显示

%f：显示为浮点数

%g，%G：以科学记数法或浮点数形式显示数值。

%u：无符号整数

%s：显示为字符串

%%：显示%自身

例：显示用户名及其ID

修饰符：对格式符进行修饰

#[.#]：第一个数字控制显示的宽度(度量值：字符数)，第二个表示小数点后的精度

%3.1f

–：左对齐

+：右对齐。默认为右对齐

例：在上例中，由于用户名的长度长短不一，在输出时不够清晰。使用修饰符能让输出更具易读性。

左对齐：

]#awk -F: '{printf "username is: %-15s;userid is %i\n",$1,$3}' /etc/passwd

右对齐：

]#awk -F: '{printf "Your name is %+15s,your id is %i\n",$1,$3}' /etc/passwd

3、变量

3.1 内建变量

FS：input field separator，指定输入时的字段分隔符；默认为空白字符

OFS：output field separator：指定输出时的字段分隔符；默认为空白字符

RS：input record separator：指定输入时的换行符；默认为空白

ORS：output record separator：指定输出时的换行符，默认为空白

NF：number of field，每行的字段数量

{print NF}

$NF标识最后一个字段

NR:number of record，文件的行的数量

FNR：若awk处理多个文件，则每个文件分别统计行数。若不指定，所有文件累计行数。

FILENAME：当前文件名

ARGC：命令行参数的

ARGV：数组，保存的是命令行所给定的各参数

例：用FS指定字段分隔符，注意，在awk中，每个变量之前需要用-v来指定。

例：指定输出的字段分隔符。

3.2 自定义变量

(1)-v var=value

注意：变量名区分大小写

(2)在program中直接定义

4、操作符

算术操作符：+ ,- ,* ,/ ,%, ^

-n:：转换为负数

+n：将字符串转换为数值

字符串操作符：没有符号的操作符，表示连接字符串

赋值操作符：= ,+= ,-= ,*= ,/= ,^= ,%= ,++ ,–

比较操作符：< ,> ,<= ,>= ,==, !=

模式操作符：

~：左侧的字符串是否被右侧的模式所匹配

!~：左侧的字符串是否被右侧的模式不匹配

逻辑操作符： && || ！

函数调用：function_name(argu1,argu2…)

条件表达式：selector？if-true-expression：if-false-expression

例：使用条件表达式判断用户是普通用户还是系统用户或管理员

awk -F: '{$3>1000?usertype="Common user":usertype="System or Sysadmin";printf "%15s:%s\n",$1,usertype}' /etc/passwd

5、PATTERN

5.1)empty：空模式，匹配每一行

5.2)/Regular Expression/：仅处理被模式匹配的每一行

例：输出/etc/fstab文件中不是以UUID开头的行的第一个字段。

输出/etc/fstab文件中以UUID开头的行的第一个字段。

5.3)relational expression：关系表达式；结果有“真”有“假”；结果为真的才被处理。

真：结果为非0值表示为真，非空字符串也表示为真

假：0表示为假，空字符串也表示为假

例：

1)输出uid大于1000的用户的用户名

2)输出小于等于1000的用户的用户名

3)输出shell为/bin/bash的用户的用户名及其shell

5.4)line ranges：指定行范围

startline，endline：/part1/,/part2/

注意：不支持直接给出数字的格式。

例：查找/etc/passwd文件中root到shutdown用户之间个用户的用户名及uid。

]#awk -F: '/^root\>/,/^shutdown\>/{print $1,$3}' /etc/passwd

例：输出/etc/passwd中从第2行(不包括第2行)到第10行(包括第10行)的用户名及其UID

5.5)BEGIN/END模式

BEGIN{}：BEGIN语句块在awk 开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块。END{}：END语句块在awk 从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END 语句块中完成，它也是一个可选语句。

例：

]#awk -F: 'BEGIN{print "   usernameuid\n--------------------"}{print $1,$3}END{print "-----------------\n        end        " }' /etc/passwd

原创文章，作者：M20-1钟明波，如若转载，请注明出处：http://www.178linux.com/48228