Shell 编程三剑客之Sed

---

前言

在Linux/UNIX 系统中包含很多种类的文本处理器或文本编辑器,其中包括我们之前学习过的VIM 编辑器与grep 等。而 grep，sed，awk 更是Shell 编程中经常用到的文本处理工具， 被称之为Shell 编程三剑客。

一、Sed工具概述

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。

sed 的工作流程主要包括读取、执行和显示三个过程。

读取： sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
执行： 默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

二、sed 工作原理

2.1.原理图

2. 2.工作原理

读入新的一行内容到缓存空间；

从指定的操作指令中取出第一条指令，判断是否匹配pattern；

如果不匹配，则忽略后读的编辑命令，回到第2步继续取出下一条指令；

如果匹配，则针对缓存的行执行后续的编辑命令；完成后，回到第2步继续取出下一条指令；

当所有指令都应用之后，输出缓存行的内容；回到第1步继续读入下一行内容；

当所有行都处理完之后，结束；

三、Sed基本语法

通常情况下调用 sed 命令有两种格式，如下所示。其中，“参数”是指操作的目标文件， 当存在多个操作对象时用，文件之间用逗号“，”分隔
scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

sed [选项] '操作' 参数

sed [选项] -f scriptfile 参数

3.1常用选项

常用选项	含义
-e	表示用指定命令或者脚本来处理输入的文本文件，只有一个编辑命令时可省略
-f	表示用指定的脚本文件来处理输入的文本文件
-n	表示仅显示处理后的结果
-i.bak	直接编辑文本文件,不输出结果
-r, -E	使用扩展正则表达式
-s	将多个文件视为独立文件，而不是单个连续的长文件流

3.2常用操作

常用操作	含义
a	增加，在当前行下面增加一行指定内容
c	替换，将选定行替换为指定内容
d	删除，删除选定的行
i	插入，在选定行上面插入一行指定内容
p	打印，输出指定行
s	替换，替换指定字符,格式：“行范围 s/旧字符串/新字符串”
y	字符转换
r	指定读取文件
w	保存为文件

3.3sed用法示例

sed -n 'p' passwd.txt        ##输出所有内容,等同于 cat test.txt

sed -n '3p' passwd.txt	     ##输出第 3 行

sed -n '3,5p' passwd.txt	 ##输出 3~5 行

sed -n 'p;n' passwd.txt	     ##输出所有奇数行,n 表示读入下一行资料

sed -n 'n;p' passwd.txt	     ##输出所有偶数行,n 表示读入下一行资料

sed -n '1,5{p;n}' passwd.txt ##输出第 1~5 行之间的奇数行(第 1、3、5 行)

sed -n '10,${n;p}' passwd.txt##输出第 10 行至文件尾之间的偶数行

sed -n '2,+3p' passwd.txt    ##从第2行开始，连续3行进行输出，即输出2~5行

3.3.1Sed结合正则表达式输出指定行

sed 命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。
注：如果遇到特殊符号的情况，扩展正则还需要转义字符“\”。

sed -n '/the/p' test.txt       	##输出包含the 的行
sed -n '2,/the/p' test.txt	    ##输出从第 2 行至第一个包含 the 的行
sed -n '/the/=' test.txt        ##输出包含the 的行所在的行号,等号(=)用来输出行号
sed -n '/^PI/p' test.txt	    ##输出以PI 开头的行
sed -n '/[0-9]$/p' test.txt     ##输出以数字结尾的行
sed -n '/\<wood\>/p' test.txt   ##输出包含单词wood 的行

新建一个文件进行sed测试

3.3.2结合正则表达式插入符合条件的行

使用插入时，如果添加多行数据，除最后一行外，每行末尾都需要用“\n”符号表示数据未完结，换行。

sed '/the/i 看这里' test.txt    ##在含有the行的前面一行添加看这里
sed '/the/a 看这里' test.txt    ##在含有the行的下一行添加看这里
sed '3a看这里' test.txt         ##在第3行之后插入字符

3.3.3删除符合条件的行

nl命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果。

nl test.txt | sed '3d'       ##删除第3行

nl test.txt | sed '3,5d'     ##删除第3~5行

nl test.txt |sed '/cross/d'  ##删除包含 cross 的行,原本的第 8 行被删除；如果要删除不包含 cross 的行,用!符号表示取反操作, 如'/cross/！d'

sed '/^[a-z]/d' test.txt     ##删除以小写字母开头的行

sed '/\.$/d' test.txt        ##删除以.结尾的行

3.3.3替换符合条件的文本

sed 's/the/THE/' test.txt	  ##将每行中的第一个the 替换为 THE
sed 's/l/L/2' test.txt	      ##将每行中的第 2 个 l 替换为 L
sed 's/the/THE/g' test.txt	  ##将文件中的所有the 替换为 THE
sed 's/o//g' test.txt    	  ##将文件中的所有o 删除(替换为空串)
sed 's/^/#/' test.txt	      ##在每行行首插入#号
sed '/the/s/^/#/' test.txt	  ##在包含the 的每行行首插入#号
sed '3,5s/the/THE/g' test.txt ##将第 3~5 行中的所有 the 替换为 THE
sed '/the/s/o/O/g' test.txt	  ##将包含the 的所有行中的 o 都替换为 O

3.3.4先备份再修改数据

3.3.5迁移符合条件的文本

常用参数	含义
H	复制到剪贴板；
g、G	将剪贴板中的数据覆盖/追加至指定行；
w	保存为文件；
r	读取指定文件；
a	追加指定内容。具体操作方法如下所示。
I,i	忽略大小写

sed '/the/{H;d};$G' test.txt	##将包含the 的行迁移至文件末尾,{;}用于多个操作
sed '1,5{H;d};14G' test.txt	    ##将第 1~5 行内容转移至第 14行后
sed '/the/w out.file' test.txt	##将包含the 的行另存为文件 out.file
sed '/the/r /etc/hostname' test.txt	##将文件/etc/hostname 的内容添加到包含 the 的每行以后
sed '3aNew' test.txt	        ##在第 3 行后插入一个新行,内容为New
sed '/the/aNew' test.txt	    ##在包含the 的每行后插入一个新行,内容为 New
sed '3aNew1\nNew2' test.txt	    ##在第 3 行后插入多行内容,中间的\n 表示换行

3.3.6使用脚本编辑文件

使用 sed 脚本将多个编辑指令存放到文件中（每行一条编辑指令），通过“-f”选项来调用。
例如执行以下命令即可将第 1~5 行内容转移至第 14 行后，等同于sed ‘1,5{H;d};16G’ text.txt

四、Sed应用案例

4.1调整vsftpd服务配置

调整 vsftpd 服务配置，要求禁止匿名用户，但允许本地用户（也允许写入）。

#!/bin/bash
# 指定样本文件路径、配置文件路径
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf "
CONFIG="/etc/vsftpd/vsftpd.conf"
# 备份原来的配置文件,检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在, 若不
存在则使用 cp 命令进行文件备份
[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak 

# 把以anonymous_enable开头的行YES全部替换成NO,覆盖现有文件
sed -e '/^anonymous_enable/s/YES/NO/g' $SAMPLE > $CONFIG

# 把以local_enable和write_enable开头的行，NO全部替换成YES
sed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $CONFIG 
grep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIG
# 启动vsftpd 服务,并设为开机后自动运行
systemctl restart vsftpd systemctl enable vsftpd

4.2 修改DNS配置文件

修改主配置文件
修改前

修改后

五、总结

1sed是依赖于正则表达式的优秀的文本处理工具，可以对指定的文本数据进行特定的操作
2.sed常用的选项参数

3.sed的应用示例