sed结构分析 + awk结构分析

sed结构分析

sed/awk教程众多，大多是实例教材，以举例为主；或者是语法教材，以语法讲解为主。

学习了sed，又学习awk，结果学着学着，很容易迷糊，语法容易混淆。

本文主要讲解sed的结构，使大家学习完以后对sed有一个整体性的把握。

至于什么叫做结构，看完应该可以明白。

本人sed/awk所学有限，错误之处请大家不吝指出。

1: sed 语法

sed -e 'pattern + action' textfile

意思：对于一个文本文件textfile，用pattern去匹配，找到匹配的字符串，copy到pattern space中，然后对pattern space中的文本执行action。

执行完action以后，接着从textfile的当前行的下一行开始，继续使用pattern去匹配，继续copy到pattern space中，继续执行action，直到结束。

解释点1：由于匹配的字符串是拷贝到pattern space中，action是对pattern space中的字符串操作，所以不会影响到原文本文件。

详细过程：

**sed执行过程:

  a. 如果已到达文件尾,goto e;否则,用pattern去匹配，找到匹配的字符串，copy到pattern space中，然后对pattern space中的文本执行action。

  b. 执行命令序列,命令只对模式空间有效;

  c. 当前行号加1

  d. goto a;

  e. 退出

2：pattern －－ 行（基本单位）与字符串匹配（基本动作）的组合

sed称为“行编辑器”，每当sed看见一个文本，在它心中，这个文本就是用换行符隔开的一行一行一直到无穷行。

在sed眼中，文本的基本单位只有一种，那就是行。这些行分别编号为1，2，3，4，5，6，... $。

行只有一个动作，那就是这个行匹配某字符串序列或者不匹配某字符串序列。

组合起来，于是有以下几种pattern。

a. A行做某事                                            sed -e '3d' textfile

b. A行到B行做某事                                       sed -e '3, 5d' textfile

c. 匹配某字符串序列的某行                               sed -e '/www/d' textfile

d. 匹配字符串“你好”到“此致敬礼”一段文本的许多行         sed -e '/你好/,/此致敬礼/p' textfile

e. 匹配从A行开始，到“此致敬礼”一段文本                  sed -e '3,/此致敬礼/p' textfile

f. 匹配从“你好”开头，到B行结束的一段文本                sed -e '/你好/, 10p' textfile

3: action

常用action，相关的文档许多，诸位可以从网上查找。

需要说明的是

a. hold space和pattern space。

把匹配的字符串拷贝到了pattern space中，接着可以对pattern space执行动作。

如果我们在处理这个pattern space中的内容以前，必须先处理一些其它事情，也就是操作对象有两个或者两个以上，那么一个buffer显然是不够的。

所以引入了hold space。

b. s/regexp/replacement/ 可以看作是 /regexp/s/regexp/replacement/

好了，剩下的是把sed所有action学习明白，你就能够对sed应用自如了。

awk结构分析

1: awk 语法

gawk 'pattern  { action }' textfile

咋一看，和sed语法 sed 'pattern action' textfile类似。

这正是sed/awk容易混淆的原因之一，sed/awk语法基本类似，细微的差别就是awk的action，需要用大括号括起来。

awk的执行流程也是，输入文本，匹配pattern，执行action，接着匹配pattern，接着执行action。注意：awk没有模式空间一说。

它的action也和sed完全不一样。

2：pattern

在awk眼中，一个文本过来，被它看成了一个表格。

详细的说，一个文本过来，awk不管三七二十一先用RS字符串把它切成一行一行的，然后对每一行用FS切成一个一个的表项。

所以，awk里面文本有两个基本单位，一个是行，一个是表项。（回忆一下，sed文本只有一个基本单位，行）。

awk里面对每行编号为，1，2，3，4，5，... NR

对每行里面每个表项的编号是 $1 $2 $3 ... $NF，对整行特殊编号为$0

a. 由于NR NF 为数字，并且$n也可以为数字，那么可以进行数字比较，找出需要的pattern。

    比如，第三项的值为日期号，判断日期大于20 可以写做 $3 > 20

    数字比较有如下6种方法

    < <=

    > >=

    == !=

b. 由于$n也可以是字符串，那么也可以采取字符串匹配的方法构造pattern

    比如，含有字符串“www”的行 模式可以写做 $0 ~ /www/

    比如，第五项不包含字符串“com”，模式可以写做 $5 !~ /com/

c. 模式可以为模式范围

    A pattern range is two patterns separated by a comma.

    The action is performed for each input line between the occurrence of the first and second pattern.

    /regular expression 1/, /regular expression 2/   { print $0 }

d. 模式组合

    Patterns can be combined to provide more powerful and complex matching.

    The following symbols are used to combine patterns.

            ||              logical or, either pattern can match

            &&              logical and, both patterns must match

            !               logical not, patterns not matching

3: action

action就是对选定对象进行操作。

主要的动作有如下三类。

动作一：print 和 printf, printf基本上和c语言类似。

动作二：内置函数。最常用的一个是gsub/sub

加上C语言的for, while, do-while, if-else流程控制，

再加上awk特色的变量，数组定义和使用，构成了awk的action。

4: BEGIN/END

BEGIN{} 开始之前设置一些FS，RS等等动作。

END{} 结束的时候执行一些action。

awk大体结构就是这样，然后对awk数组需要特别理解，了解awk内置函数的用法，反复练习，应该可以对awk应用自如了