Shell文件处理三剑客之sed

---

前言

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务。

---

一、工作流程

sed 的工作流程主要包括读取、执行和显示三个过程。

• 读取：
  sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。

• 执行：
  默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。

• 显示：
  发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。
  在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

二、sed 命令常见用法

• 通常情况下调用 sed 命令有两种格式

sed [选项] ‘操作’ 参数
sed [选项] -f scriptfile 参数
“参数”是指操作的目标文件， 当存在多个操作对象时用，文件之间用逗号“，”分隔；
而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

1.常见的 sed 命令选项

选项	含义
-e 或–expression=	表示用指定命令或者脚本来处理输入的文本文件。
-f 或–file=	表示用指定的脚本文件来处理输入的文本文件。
-h 或–help	显示帮助。
-n、–quiet 或 silent	表示仅显示处理后的结果。
-i	直接编辑文本文件。

2.常见的操作

操作”用于指定对文件操作的动作行为，也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5～ 20 行之间

参数	含义
a	增加，在当前行下面增加一行指定内容。
c	替换，将选定行替换为指定内容。
d	删除，删除选定的行。
i	插入，在选定行上面插入一行指定内容。
p	打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
s	替换，替换指定字符
y	字符转换。

3.基本用法实例：

3.1 输出符合条件的文本（p 表示正常输出）

[root@c7-1 home]# sed -n 'p' test.txt
#输出所有内容,等同于 cat test.txt

[root@c7-1 home]# sed -n '3p' test.txt 			//输出第三行
The home of Football on BBC Sport online.

[root@c7-1 home]# sed -n '3,5p' test.txt 		//输出第3~5行
The home of Football on BBC Sport online.
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.

[root@c7-1 home]# sed -n 'p;n' test.txt 		//输出所有奇数行，n表示读入下一行资料
he was short and fat.
The home of Football on BBC Sport online.
google is the best tools for search keyword.
PI=3.141592653589793238462643383249901429
Actions speak louder than words

#woooooood 
I bet this place is really spooky late at night!

[root@c7-1 home]# sed -n 'n;p' test.txt 		//输出所有偶数行
He was wearing a blue polo shirt with black pants. 
the tongue is boneless but it breaks bones.12! 
The year ahead will test our political establishment to the limit.
a wood cross!

#woood #
# AxyzxyzxyzxyzC
Misfortunes never come alone/single.


[root@c7-1 home]# sed -n '1,5{p;n}' test.txt 		//输出第1~5行之间的奇数行
he was short and fat.
The home of Football on BBC Sport online.
google is the best tools for search keyword.


[root@c7-1 home]# sed -n '10,${n;p}' test.txt 		//输出第 10 行至文件尾之间的偶数行

#woooooood 
I bet this place is really spooky late at night! 

#在执行“sed -n‘10,${n;p}’test.txt”命令时，读取的第 1 行是文件的第 10 行，
#读取的第 2行是文件的第 11 行，依此类推，
#所以输出的偶数行是文件的第 11 行、13 行直至文件结尾， 其中包括空行。

以上是 sed 命令的基本用法，sed 命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。

• sed命令与正则表达式结合使用的示例：

[root@c7-1 home]# sed -n '/the/p' test.txt 			//输出包含the 的行
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.
The year ahead will test our political establishment to the limit.

[root@c7-1 home]# sed -n '4,/the/p' test.txt 	//输出从第 4 行至第一个包含 the 的行
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.

[root@c7-1 home]# sed -n '/the/=' test.txt 		//输出包含the 的行所在的行号,等号(=)用来输出行号
4
5
6

[root@c7-1 home]# sed -n '/^PI/p' test.txt 		//输出以PI 开头的行
PI=3.141592653589793238462643383249901429

[root@c7-1 home]# sed -n '/[0-9]$/p' test.txt 	//输出以数字结尾的行
PI=3.141592653589793238462643383249901429

[root@c7-1 home]# sed -n '/\<wood\>/p' test.txt 	//输出包含单词wood 的行,\<、\>代表单词边界
a wood cross!

3.2 删除符合条件的文本（d）

• 下面命令中 nl 命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果。

[root@c7-1 home]# nl test.txt |sed '3d'			//删除第 3 行
     1	he was short and fat.
     2	He was wearing a blue polo shirt with black pants. 
     4	the tongue is boneless but it breaks bones.12! 

[root@c7-1 home]# nl test.txt | sed '3,5d'		//删除第3~5行
     1	he was short and fat.
     2	He was wearing a blue polo shirt with black pants. 
     6	The year ahead will test our political establishment to the limit.

[root@c7-1 home]# nl test.txt | sed '/cross/d'
     1	he was short and fat.
     2	He was wearing a blue polo shirt with black pants. 
     3	The home of Football on BBC Sport online.
     4	the tongue is boneless but it breaks bones.12! 
     5	google is the best tools for search keyword.
     6	The year ahead will test our political establishment to the limit.
     7	PI=3.141592653589793238462643383249901429
     9	Actions speak louder than words
//删除包含 cross 的行,原本的第 8 行被删除；如果要删除不包含 cross 的行,用!符号表示取反操作, 如'/cross/！d'

[root@c7-1 home]# sed '/^[a-z]/d' test.txt 		//删除以小写字母开头的行He was

[root@c7-1 home]# sed '/\.$/d' test.txt 		//删除以"."结尾的行

[root@c7-1 home]# sed '/^$/d' test.txt 			//删除所有空行

3.3 替换符合条件的文本

• 在使用 sed 命令进行替换操作时需要用到 s（字符串替换）、c（整行/整块替换）、y（字符转换）命令选项，常见的用法如下所示。

sed 's/the/THE/' test.txt	//将每行中的第一个the 替换为 THE
sed 's/l/L/2' test.txt	//将每行中的第 2 个 l 替换为 L
sed 's/the/THE/g' test.txt	//将文件中的所有the 替换为 THE

sed 's/o//g' test.txt	//将文件中的所有o 删除(替换为空串)
sed 's/^/#/' test.txt	//在每行行首插入#号
sed '/the/s/^/#/' test.txt	//在包含the 的每行行首插入#号
sed 's/$/EOF/' test.txt	//在每行行尾插入字符串EOF
sed '3,5s/the/THE/g' test.txt	//将第 3~5 行中的所有 the 替换为 THE
sed '/the/s/o/O/g' test.txt	//将包含the 的所有行中的 o 都替换为 O

3.4 迁移符合条件的文本

• 在使用 sed 命令迁移符合条件的文本时，常用到以下参数.

参数	含义
H	复制到剪贴板
g、G	将剪贴板中的数据覆盖/追加至指定行
w	保存为文件
r	读取指定文件
a	追加指定内容

sed '/the/{H;d};$G' test.txt	//将包含the 的行迁移至文件末尾,{;}用于多个操作
sed '1,5{H;d};17G' test.txt		//将第 1~5 行内容转移至第 17 行后
sed '/the/w out.file' test.txt	//将包含the 的行另存为文件 out.file
sed '/the/r /etc/hostname' test.txt	//将文件/etc/hostname 的内容添加到包含 the 的每行以后
sed '3aNew' test.txt	//在第 3 行后插入一个新行,内容为New
sed '/the/aNew' test.txt	//在包含the 的每行后插入一个新行,内容为 New
sed '3aNew1\nNew2' test.txt	//在第 3 行后插入多行内容,中间的\n 表示换行

3.5 使用脚本编辑文件

• 使用 sed 脚本将多个编辑指令存放到文件中（每行一条编辑指令），通过“-f”选项来调用。

sed '1,5{H;d};16G' test.txt		//将第 1~5 行内容转移至第 16 行后
以上操作可以改用脚本文件方式：

[root@c7-1 home]# vi opt.list
1,5H
1,5d
17G
[root@c7-1 home]# sed -f opt.list test.txt

3.6 sed 直接操作文件示例

• 编写一个脚本，用来调整 vsftpd 服务配置，要求禁止匿名用户，但允许本地用户（也允许写入）。

[root@c7-1 home]# vim local_ftp.sh 

#!/bin/nash
#需求：用来调整vsftpd服务配置，要求禁止匿名用户。但允许本地用户（也允许写入）
#1.指定样本文件路径、配置文件路径
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf "
CONFIG="/etc/vsftpd/vsftpd.conf"

#2.备份原来的配置文件，检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在，若不在则使用cp命令进>
行文件备份
[ ! -e "$CONFIG.bak" ] && cp $SAMPLE $CONFIG.bak

sed -e '/anonymous_enable/s/YES/NO/g' $SAMPLE > $CONFIG

sed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $CNFIG

grep "listen" $CONFIF || sed -i '$alistn' $CONFIG

#启动vsftpd服务，并设置为开机自启
systemctl restart vsftpd
systemctl enable vsftpd

---