快速学习linux中awk命令

0. 快速回顾

常用参数：

参数	解释
-F	指定输入时用到的字段分隔符
-v	自定义变量
-f	从脚本中读取awk命令
-m	对val值设置内在限制

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

变量名	详解
ARGC	命令行参数个数
ENVIRON	支持队列中系统环境变量的使用
FILENAME	awk浏览的文件名
FNR	浏览文件的记录数
FS	设置输入域分隔符，等价于命令行 -F选项
NF	浏览记录的域的个数
NR	已读的记录数
OFS	输出域分隔符
ORS	输出记录分隔符
RS	控制记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,……以此类推

1.定义

AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。

2.实例

ps -ef|grep redis-sever|grep -v grep|awk {kill -9 "$2"}

ps -ef|grep redis-sever：查出正在运行的redis实例
[root@localhost ~]# ps -ef|grep redis-server
root       3492      1  0 02:06 ?        00:01:34 redis-server 127.0.0.1:6379
root       8613   8562  0 10:19 pts/0    00:00:00 grep --color=auto redis-server

grep -v grep：去掉查出来的我们自己运行的grep

[root@localhost ~]# ps -ef|grep redis-server|grep -v grep
root       3492      1  0 02:06 ?        00:01:34 redis-server 127.0.0.1:6379

3. awk命令

1）awk、grep、sed

• grep：查找或匹配文本
• sed：编辑匹配到的文本
• awk：格式化文本，对文本进行较复杂格式处理

2）使用格式

 awk '{pattern + action}' {filenames}

pattern ： AWK 在数据中查找的内容，要表示的正则表达式，用斜杠括起来。
action ：找到匹配内容时所执行的一系列命令。
花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。
awk是以文件的一行为处理单位的。

有三种方式调用awk

1.命令行方式

awk [-F field-separator] 'commands' input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

[root@localhost etc]# bash aaa.sh 
polkitd:x:999:998:User for polkitd:/:/sbin/nologin

3.将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-script-file input-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

3）使用

[root@localhost ~]# ps -ef|grep redis-server|grep -v grep|awk '{print $2}'
3492

这样就取出了redis服务的进程号
之后就可以对这个进程号进行操作
默认的分隔符是空格，不是空格的情况呢
查看下/etc/passwd文件：

[root@localhost ~]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

各参数都用:分割
只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以：分割

[root@localhost ~]# cat /etc/passwd|awk -F ':' '{print $1"："$6}'
root：/root
bin：/bin
daemon：/sbin
adm：/var/adm
lp：/var/spool/lpd
sync：/sbin
shutdown：/sbin

在输出第一行加提示：name,shell，输出最后一行加end

[root@localhost ~]# cat /etc/passwd|awk -F ':' 'BEGIN{print "name:shell"} {print $1"："$6}END{print "end"}'
name:shell
root：/root
bin：/bin
daemon：/sbin
adm：/var/adm
lp：/var/spool/lpd
sync：/sbin
end

注意begin,end都大写
awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
显示用户和shell,用：分割

[root@localhost etc]# awk -F: -v OFS=":" '{print $1,$NF}' passwd
root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin

如果规范格式：

[root@localhost etc]# awk -F:  '{printf"%-15s:%15s\n",$1,$NF}' passwd
root           :      /bin/bash
bin            :  /sbin/nologin

左对齐，右对齐，占多少字符，用什么分割都可以改

awk也可以搜索：

[root@localhost ~]# awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。
搜索支持正则，例如找root开头的: awk -F: ‘/^root/’ /etc/passwd

[root@localhost etc]# awk -F: '$3>=500 && $1~/^p/ {print $0}' passwd
polkitd:x:999:998:User for polkitd:/:/sbin/nologin

grep搜索也能达到效果

[root@localhost etc]# grep ^root passwd
root:x:0:0:root:/root:/bin/bash
[root@localhost ~]# grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

awk可以对查出内容做处理

[root@localhost ~]# awk -F: '/root/{print $1}' /etc/passwd
root
operator

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,……以此类推
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

[root@localhost ~]# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
filename:/etc/passwd,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
filename:/etc/passwd,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
filename:/etc/passwd,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync
filename:/etc/passwd,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
filename:/etc/passwd,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt

使用printf替代print,可以让代码更加简洁，易读

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。