如何在awk中使用正则表达式

动机

其实对我而言，平时在工作和学习的过程中，不在awk中使用正则表达式就已经能解决大多数问题了，但例外总是存在，今天就记录一下在awk中使用正则表达式的过程。

awk的命令格式

首先需要明确awk的命令格式，这样才能知道正则表达式应该放在哪里。

三种格式分别是：

$ awk 'pattern' filename

$ awk '{action}' filename

$ awk 'pattern {action}' filename

正则表达式放在哪？

根据上面的命令格式可知，正则表达式应该放在‘patten’这个位置。

awk如何处理正则表达式

对awk而言，正则表达式是置于两个正斜杠之间、由字符组成的模式。如果输入行中的某个字符串与正则表达式相匹配，则最终条件为真，于是执行与该表达式关联的所有操作。如果没有指定操作，则打印与正则表达式匹配的记录。

匹配整行

如果没有指定操作，则单个正则表达式将对整行进行模式匹配，并打印出所匹配的行。例如，可以使用元字符^来表示需要进行行首匹配的正则表达式：

$ ls -l | awk '/^d/'

找出当前目录下的所有目录文件。

匹配操作符

匹配操作符（~） 用于对记录或字段的表达式进行匹配。

示例1，找出当前目录下文件所有者为root的文件：

$ ls -l | awk '$3 ~/root/ {print $9}'

示例2，简化git status的输出，只看代码文件的变更情况：

# Linux下
$ git status | awk '$NF ~/.*\..*[^/]$/ {print $0}'

# Mac下，需要对'/'进行转义：'\/'
$ git status | awk '$NF ~/.*\..*[^\/]$/ {print $0}'  

示例3，现在有两个文件a.txt和b.txt，其中a.txt是由每行一列的索引组成的，b.txt由多行多列组成，其中某一列是索引列，现在要查找a.txt中的索引是否在b.txt中出现，若出现则输出b.txt中对应的那一行。

$ cat ./a.txt
aa
bb
cc
dd
ee
ff

$ cat ./b.txt
aa 1 2 3 4
bb 2 3 4 6
dd 2 3 5 7
ef 1 3 4 5
fg 1 3 4 5

$ cat ./a.txt | awk '{print($1)}' | xargs -I{} grep {} ./b.txt
aa 1 2 3 4
bb 2 3 4 6
dd 2 3 5 7

示例4，将当前目录下所有文件中的字符串 helle 替换成 hello：

$ grep -rn helle
a.txt:1:helle, word
a.txt:2:helle, world
b.txt:2:dfaf, helle
b.txt:3:helle, hello
c.txt:4:helle, world

$ grep -rn helle |awk -F: '{print $1}' |xargs sed -i 's/helle/hello/g'

$ grep -rn helle

$ grep -rn hello
a.txt:1:hello, word
a.txt:2:hello, world
b.txt:2:dfaf, hello
b.txt:3:hello, hello
c.txt:4:hello, world

 

awk所支持的正则表达式元字符

注意问题

正则表达式与通配符是完全不一样的东西！通配符代表的是bash操作接口的一个功能，但正则表达式是一种字符串处理的表达方式！这两者要分清才行。

参考文献

1.《UNIX Shell范例精解》，Ellie Quigley, 清华大学出版社 ，2007.

2.《鸟哥的linux私房菜（第三版）》。