shell学习四十天----awk的惊人表现

原创 2015年07月08日 16:38:36

awk的惊人表现

awk可以胜任几乎所有的文本处理工作。

 

 

awk

调用

1.调用awk:

方式一:命令行方式

awk [-F field-separator ] ‘commands’ input-file(s)

[ -F域分隔符 ]是可选的,因为awk使用空格作为缺省的域分隔符,因此如果要浏览域间有空格的文本,不必指定这个选项,如果要浏览例如passwd文件.此文件名域以冒号作为分隔符,则必须指明-F选项,:

awk -F ‘commands’ input-file

 

方式二:将所有awk命令插入一个文件,并使阿瓦库程序可执行,然后用awk命令解释器作为脚本的首行,以便通过键入脚本名成功来调用它.

 

方式三:将所有的awk命令插入一个单纯文件,然后调用:

awk -f awk-script-file input-file(s)

-f选项指明在文件awk_script_file中的awk脚本,input_file(s)是使用awk进行浏览的文件名.

 

 

模式和动作

 

任何awk语句都是有模式和动作组成.在一个awk脚本中可能有很多语句,模式部分决定动作语句何时触发以及出发时间.处理即对数据进行的操作.如果省略模式部分,动作将时刻保持执行状态.模式可以是任何条件语句或符合语句或正则表达式.模式包括两个特殊字段BEGINEND.使用BEGIN语句设置计数和打印头.BEGIN语句使用在任何文本浏览动作之前,之后文本浏览动作一句输入文本开始执行.END语句用来在awk完成浏览动作后打印输出文本总数和结尾状态标识.

 

域和记录

使用$1,$3表示参照第一个和第三个域,注意这里使用逗号做域分割,如果希望打印一个有5个域的记录的所有域,可使用$0,意即所有域.

为打印一个域或所有域,使用printf命令,这是一个awk动作

 

模式和动作

模式:两个特殊段BEGINEND

动作:实际动作大多在{}内指明

 

输出:

1.抽取域

命令:awk -F: '{print $1}' /etc/passwd

输出:打印/etc/passwd目录下的所有用户名

 

2.保存输出

awk -F: ‘{print $1}’ /etc/passwd |tee user  使用tee命令,在输出文件的同时,输出到屏幕

 

3.使用标准输出

awk -F : ‘{print $1}’ /etc/passwd > user3

 

4.打印所有记录

awk -F : ‘{print $0}’ /etc/passwd

5.打印单独记录

awk -F: ‘{print $1,$4}’ /etc/passwd

 

6.打印报告头

awk -F : ‘BEGIN{print “NAME\n”}{print $1}’ /etc/passwd

 

7.打印结尾

awk -F: ‘{print $1}END{print “this is all users\n”}’ /etc/passwd

 

条件操作符

1.匹配

awk -F : '{if($1~/root/) print}' /etc/passwd 

分析:if($1~/roo/t) 表示如果file中包含root,打印他

 

2.精确匹配

使用符号==

awk -F: '{if($3==0) print}' /etc/passwd

 

3.不匹配

!~

awk -F: '{if($1!~/linuxone/) print}' /etc/passwd

精确不匹配

!=

awk -F: '{if($1!=/linuxone/) print}' /etc/passwd

 

4.小于

<

5.小于等于

<=

6.大于

>

7.设置大小写

awk ‘/[Rr]oot’ /etc/passwd

 

8.任意字符

awk -F : '{f($1~/^...t/) print}' /etc/passwd

分析:if($1~/^...t/)表示第四个字母是t

 

9.或关系匹配

awk -F : '{if($1~/(squid|nagios)/) print}' /etc/passwd

 

10.行首

awk '/^root/' /etc/passwd

分析:^root(行首包含root)

11 AND &&

awk -F : '{if($1=="root"&&$3=="0") print}' /etc/passwd

 

12.OR ||

 

内置变量:

变量名

含义

ARCC

命令行参数个数

ARGV

命令行参数列表

ENV |RON

支持队列中的系统环境变量的使用

FNR

浏览文件的记录数

FS

置顶分隔符,等价于-F

NF

浏览记录的域的个数

NR

一度的记录数

OFS

输出域分隔符

ORS

输出记录分隔符

RS

控制记录分隔符

 

案例:

打印有多少行记录

awk 'END{print NR}' /etc/passwd

 

设置输入域到变量名

awk -F : '{name=$1;path=$7; if(name~/root/)print name"\tpath is : " path}' /etc/passwd

 

域值比较操作

awk '{if($6<$7) print $0}' input-file

 

修改文本域只显示修改的记录

awk -F : '{if($1=="root"){$1="nagios server" ; print}}' /etc/passwd  

 

文件长度相加

ls -l | awk '/^[^d]/ {print $9"\t" $5}{tot+=$5}\

 END {print "total kb:"tot}'

 

 

 

 

内置的字符串函数

gsub(r,s)

在整个$0s替换r

gsub(r,s,t)

在整个ts替换r

index(s,t)

返回s中字符串t的第一位置

length(s)

返回s长度

match(s,r)

测试s中是否包含匹配r的字符串

split(s,a,fs)

fs上将s分成序列a

sub(s,)

$0中最左边也是最长的字符串替代

subtr(s,p)

返回字符串s中从p开始的后缀部分

substr(s,p,n)

返回字符串s中从p开始长度为n的后缀部分

 

1.gsub

awk 'gsub(/^root/,"netseek") {print}' /etc/passwd  #将以root开头的字符串替换为netseek并打印

 

awk 'gsub(/0/,2){print}' /etc/passwd

 

awk '{print gsub(/0/,2) $0}' /etc/fstab

 

2.index

awk 'BEGIN{print index("root","o")}'  #查询oroot字符串中出现的第一位置

 

awk -F : '$1=="root" {print index($1,"o")" " $1}' /etc/passwd

 

awk -F : '{print index($1,"o") $1}' /etc/passwd

 

3.length

awk -F : '{print length($1)}' /etc/passwd

 

wk -F : '$1=="root"{print length($1)"\t" $0}' /etc/passwd

 

4.match(ANCD中查找C的位置)

awk 'BEGIN{print match("ANCD","C")}'

 

5.split返回字符串数组元素个数

awk 'BEGIN{print split("123#456#789",array,"#")}'

 

6.sub只能替换指定域的第一个0

awk 'sub(/0/,2){print }' /etc/fstab

 

7.substr 按照起始位置以及长度返回字符串的一部分

awk 'BEGIN{print substr("www.baidu.com",5,9)}' #第五个子夫开始,9个字符

 

awk 'BEGIN{print substr("www.baidu.com",5)}'  #第五个位置开始,一直到最后

 

字符串屏蔽序列

符号

含义

\b

退格符

\f

走纸换页

\n

新行

\r

回车

\t

tab(四个空格)

\c

任意其他特殊字符

\ddd

八进制

 

案例:

awk -F : '{print $1,"\b" $2,"\t" $3}' /etc/passwd

分析:printprintf两者效果不同

 

printf修饰符

-  : 左对齐

width : 域的步长0表示0步长

.prec : 最大字符串长度,或小数点右边的位数

 

awk printf格式

符号

含义

%c

ASCII字符

%d

整数

%e

科学计数法

%f

浮点数

%g

awk决定使用哪种浮点数转换,e或者f

%o

八进制数

%s

字符串

%x

十六进制

 

1.字符串转换

echo "65" | awk '{printf "%c\n", $0}'

 

awk 'BEGIN{printf "%c\n" ,65}'

 

awk 'BEGIN{printf "%f\n",999}'

 

2.格式化输出

awk -F : '{printf "%-15s %s\n",$1,$3}' /etc/passwd

 

awk -F : 'BEGIN{printf "USER\t\tUID\n"}{printf "%-15s %s\n",$1,$3}' /etc/passwd

 

3.向一行awk命令传值

who | awk '{if ($1==user) print $1 " you are connected :" $2}' user=$LOGNAME

 

4.awk脚本文件(在文件名字后面加后缀.awk翻遍区分)

#!/bin/awk -f

BEGIN{

        FS=":"

        print "User\t\tUID"

        print "----------------"

}

 

{printf "%-15s %s\n",$1,$3}

 

END{

        print "end"

}

 

分析:awk脚本文件开头一般都是这样的:#!/bin/awk -f


已经指明了 -f 选项。


执行时,直接在awk脚本名后面加要处理的文件名作为参数即可。

 

相关文章推荐

Java NIO 按行读取超大文件

使用Java NIO方式读取文件内容,效率要比传统IO效率要更高 两者主要区别 IO                NIO 面向流            面向缓冲 阻塞IO           非...

LINUX-AWK简明教程

AWK是贝尔实验室1977年搞出来的文本出现神器,今年是蛇年,是AWK的本命年,而且年纪和我相仿,所以非常有必要为他写篇文章起步上台 我从netstat命令中提取了如下信息作为用例:$ cat ne...

shell+sed+regular+awk+find学习资料

  • 2011年12月02日 01:06
  • 922KB
  • 下载

awk和shell学习指南

  • 2012年10月22日 13:54
  • 3.22MB
  • 下载

shell学习 - awk入门

一. awk应用场景格式化数据或从一个大的文本文件中抽取记录二. 使用方法 命令行方式 $awk [-F field-separator] ‘commands’ input-file(s) com...

linux shell sed && awk 的学习

sed 定义:s e d是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。标准输入可 能是来自键盘、文件重定向、字符串或变量,或者是一个管道的文本。s e d可以做些什么呢? 别忘了...

shell 脚本完成对日志文件的提取之awk 学习

前言 学习awk/sed/zmore/zgrep、istat 正文 1.awk  awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理(awk是一个强...

shell脚本学习笔记(三)—— if、xargs、awk

1 if语句1.1 shell脚本中判断文件和目录是否存在查看某目录是否存在,不存在就创建,存在就退出并打印提示。if [ ! -d "$DIR" ] then mkdir -p "$DIR"...

shell脚本学习笔记 (文本处理器AWK)

既然说到了shell和正则表达式,那么不得不简单的提提AWk工具。AWK是一种优良的文本处理工具,它不仅是 Linux 中也是任何环境中现有的功能最强大的数据处理引擎之一。AWK 提供了极其强大的功...

Shell脚本写作:Awk学习笔记

1. awk简介 awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:shell学习四十天----awk的惊人表现
举报原因:
原因补充:

(最多只允许输入30个字)