sed与gawk

SED

sed编辑器被称作流编辑器(stream editor)，与vim等交互式编辑器不同，它会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流，每次从输入中读取一行，用提供的编辑器命令匹配数据、按命令中指定的方式修改流中的数据，然后将生成的数据输出到STDOUT，由于命令都是一行一行顺序处理的，sed编辑器必须一次就完成对文本的修改。

格式: sed options script file

 在命令行定义编辑器命令

默认情况下，sed编辑器会将指定的命令应用到STDIN输入流上。如下:

这里使用了s命令，它会用斜线间指定的第二个文本字符串来替换第一个文本字符串，例如这里的Hello被替换成了Hi。

注意，sed对一个文件内容的改变并不影响原本内容，仅输出改变后的内容到STDOUT：

如上文件，如果即需要替换int，又需要替换abc，可以加-e选项从而可以执行多个命令:

注意，命令之间必须用分号分隔，并且在命令末尾和分号之间不能有空格。

再来看看下面的例子:

发现第二个test没有被替换。这是s命令默认只替换第一个出现的文本字符串，如果要整行都出现的，需要加替换标记，有如下4中标记:

1. 数字：表明新文本将替换第几处模式匹配的地方

2. g：表明新文本将会替换所有已有文本出现的地方

3. p:  表明原来行的内容要打印出来

4. w file：将替换的结果写到文件中

有时会遇到替换路径，因为需要加转移字符的斜杠，看起来很别扭，可以加感叹号来作为字符串分隔符:

在文件中获取编辑器命令

如果命令比较多，可以把它放在文件，然后通过-f选型来指定文件:

指定行处理文本

默认情况，sed编辑器中使用的命令会作用于文本数据所有行，如果需要作用于指定行，需要指定行范围。

示例一，只替换一行指定行的数据:

示例二, 替换行范围内的文本数据:

示例三, 替换行到文件末尾的文本数据:

示例四, 单行数据执行多条命令:

示例五，删除行：

插入和追加文本

插入(insert): 命令i会在指定行前增加一个新行

追加(append): 命令a会在指定行后增加一个新行

不能在单个命令行上使用这两条命令，必须指定是要将行插入还是附加到另一行，格式:

sed '[address]command new line'

插入多行数据，需要在每行数据后用'\'分隔:

修改数据行

可以修改整行数据，与替换稍微不一样。

转换命令

转换(transform, y)可以处理单个字符的sed编辑器命令，它是一个全局命令，不需要指定行，它会处理所有文本行数据。

注意：转换的输入输出字符长度必须一致，否则会产生错误。

可以看到，输入输出是对应的，3换成了9，4换成了0。

输出信息

输出原来的和替换后的文本信息:

这里加了-n选项，屏蔽了其他行的输出，只打印包含匹配文本模式的行，这里首先用p打印原来的行（这里是找到包含数字3的行），然后's/test/line/p'打印替换后的行信息。

从文件读取信息

这里读取234.txt文本的信息，插入到123.txt文件的末尾。

例如，现在只想插入到There一行:

第一条命令是匹配There插入，因此找到第二行插入，第二条命令是同时匹配There和第三行，因为第三行没有There，所有没有插入。

GAWK

gawk主要用处在于程序脚本，使得我们可以编写脚本来读取文本行的数据，然后处理并显示数据，创建任何类型的输出报告，它的程序脚本使用一对花括号来定义，而且由于gawk命令行假定脚本是单个文本字符串，因此必须将脚本放到单引号中。

格式: gawk options program file

从命令行读取程序脚本

这里输出df -h命令输出的第一列的数据内容，第一列代表第一列，以此类推，然后$0代表整个文本行，这里能获取到第一列，是因为df -h命令输出内容默认以空格或制表符分隔，而gawk处理文本时默认也是这样，如果不是空格，需要加-F选项指定分隔符，比如/etc/passwd是以冒号(:)来分隔的：

(如果要中止gawk程序，可以使用组合键Ctrl+D来发送EOF字符。)

类似sed，如果在gawk执行多个命令，使用分号分隔多个命令即可:

从文件中读取程序

类似sed，gawk也可以把程序脚本放到文件，然后通过-f选项来引用:

注意，这里引用变量r_text与shell需要加$符号才能引用变量不同，这里直接应用即可。

在处理数据前运行脚本

BEGIN关键字可以强制gawk在读取数据前执行BEGIN关键字后指定的程序脚本:

在处理数据后运行脚本

END关键字会在gawk读取完数据后执行指定脚本。

以上是sed和gawk的基本用法，当这两个命令结合正则表达式后，就可以为提取和处理文本文件中数据创建定制过滤器的关键，从而更加功能强大。