Linux命令之awk

awk

awk 是一个强大的文本分析工具，相对于 grep 的查找，sed 的编辑，awk 在其对数据分析并生成报告时，显得尤为强大。简单来说 awk 就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
1. 命令格式
awk ‘{pattern + action}’ {filenames}
2. 功能描述
pattern 就是要表示的正则表达式,用斜杠括起来。而 action 是在找到匹配内容时所执行的一系列
命令。
awk 最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk 抽取信息后才能进行其
他文本操作。完整的 awk 脚本通常用来格式化文本文件中的信息。
通常,awk 是以文件的一行为处理单位的。awk 每接收文件的一行,然后执行相应的命令,来处理文
本。
3. awk 内置变量
awk 有许多内置变量用来设置环境信息,这些变量可以被改变,下面给出了最常用的一些变量。
ARGC :命令行参数个数
ARGV :命令行参数排列
ENVIRON :支持队列中系统环境变量的使用
FILENAME:awk 浏览的文件名
FNR :浏览文件的记录数
FS :设置输入域分隔符,等价于命令行 -F 选项
NF :浏览记录的域的个数
NR :已读的记录数
OFS :输出域分隔符
ORS :输出记录分隔符
RS :控制记录分隔符
$0 :整条记录
$1 :表示当前行的第一个域
4. 使用示例
示例数据:
命令 last -n 5 #仅取出前五行
结果
root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in
root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 01:41.
root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 06:48.
tledu pts/1 192.168.1.100 Mon Feb 9 11:41 - 11:41 00:00.
root tty1 Fri Sep 5 14:09 - 14:10 00:01.
<1> 如果只是显示最近登录的 5 个账号
命令 last -n 5 | awk ‘{print $1}’
说明:读入有换行符分割的一条记录,然后将记录按指定的域分割符划分域,填充域。$0 则表示所有域,$1表示第一个域,$n 表示第 n 个域。默认域分隔符是"空白键"或"[tab]键",所以$1 表示登录用户,$3 表示登录用户 ip,以此类推。
<2> 只显示/etc/passwd 的账户
命令 cat /etc/passwd | awk -F ‘:’ ‘{print $1}’
<3> 只显示/etc/passwd 的账户和账户对应的 shell,而账户和 shell 之间以 tab 键分割
命令 cat /etc/passwd | awk -F ‘:’ ‘{print $1"\t"$7}’
<4> 只显示/etc/passwd 的账户和账户对应的 shell,而账户与 shell 之间以逗号分割,而且在所有行添加列名 name,shell,在最后一行添加"blue,/bin/nosh"
命令 cat /etc/passwd | awk -F ‘:’ ‘BEGIN {print “name,shell”} {print $1","$7} END
{print “blue,/bin/nosh”}’
<5> 搜索/etc/passwd 有 root 关键字的所有行
命令 awk -F : ‘/root/’ /etc/passwd
<6> 搜索/etc/passwd 有 root 关键字的所有行,并显示对应的 shell
命令 awk -F : ‘/root/{print $7}’ /etc/passwd
<7> 统计/etc/passwd 的文件名,每行的行号,每行的列数,对应的完整行内容
命令 awk -F ‘:’ ‘{print “filename:” FILENAME “,linenum:” NR “,columns:” NF “,linecontent:”$0}’
/etc/passwd
5.awk 编程
5.1 变量和赋值
除了 awk 的内置变量,awk 还可以自定义变量。
<1> 下面统计/etc/passwd 的账户人数
命令 awk ‘{count++;print $0;} END{print "user count is ",count}’ /etc/passwd
说明:count 是自定义变量。之前的 action{}里都是只有一个 print,其实 print 只是一个语句,而
action{}可以有多个语句,以;号隔开。
<2> 上例中没有初始化 count 变量的值，妥当起见,还是先赋值
命令 awk ‘BEGIN {count=0;print "[start]user count is ",count} {count++;print $0;}
END{print "user count is ",count}’
<3> 统计某个文件夹下的文件占用的字节数
命令 ls -l|awk ‘BEGIN {size=0;} {size+=$5;} END{print "[end]size is ",size}’
说明:统计不包括文件夹的子目录
5.2 条件语句
声明方式:
if 表达式. {语句;}
if 表达式 1. {语句;} else if 表达式 2. {语句;}
if 表达式. {语句;} else {语句;}
统计某个文件夹下的文件占用的字节数,过滤 4096 大小的文件一般都是文件夹.
命令 ls -l | awk ‘BEGIN {size=0;print "[start]size is ",size} {if($5!=4096)
{size+=$5;}} END{print "[end]size is ",size/1024/1024,“M”}’
5.3 循环语句
声明方式:
while、do/while、for、break、continue