shell脚本之sed编辑器

sed编辑器

sed概念

• sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
• sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

sed的工作流程

主要包括读取、执行和显示三个过程:

• 读取：sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间, pattern space)

• 执行：默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行。

• 显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行直至所有内容被处理完。

• 在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。

注意:默认情况下所有的sed命令都是在模式空间内执行的,因此输入的文件并不会发生任何变化,除非是用重定向存储输出。

sed命令格式

格式一：
sed [选项] '操作' 文件1 [文件2] ...
格式二：
sed [选项] '选项{
操作1
操作2
...
}' 文件1 [文件2] ...

常用选项：

-e 或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f 或--file=：表示用指定的脚本文件来处理输入的文本文件。
-h 或--help：显示帮助。
-n、--quiet 或 silent：禁止sed编辑器输出，但可以与p命令一起使用完成输出。
-i：直接修改目标文本文件。

常用操作：

s：替换，替换指定字符。
d：删除，删除选定的行。
a：增加，在当前行下面增加一行指定内容。
i：插入，在选定行上面插入一行指定内容。
c：替换，将选定行替换为指定内容。
y：字符转换，转换前后的字符长度必须相同。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
=：打印行号。
l(小写L)：打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）

示例：

打印内容

打印行号

也可以使用 在输出“’”后直接回车，然后在“>”前输出操作，最后以“ ’ 文件”结尾
sed -n ’
> =
> p
> ’ sed.txt

打印ASCII字符

使用地址

sed编辑器有2种寻址方式：
以数字形式表示行区间
用文本模式来过滤出行

以数字形式表示行区间

#打印奇数行
#第一步：sed读取第一行，p打印出来
#第二步：这里n表示移动到下一行（此时是第二行）
#第三步：sed命令结束，再次切换到下一行（此时是第三行）
#第四步：重复一二三的步骤，直至最后一行
sed -n ‘p;n’ sed.txt
#打印偶数行，和上面的步骤差不多
sed -n ‘n;p’ sed.txt

用文本模式来过滤出行

删除行

替换

格式：
sed [选项] '行范围 s/旧字符串/新字符串/替换标记'

4种替换标记：
数字：表明新字符串将替换第几处匹配的地方
g：表明新字符串将会替换所有匹配的地方
p：打印与替换命令匹配的行，与-n一起使用
w 文件：将替换的结果写到文件中

cat sed.sh
vim script.sed      #创建一个用于sed命令的脚本，以sed结尾方便辨识           
s/o/66/             #将o替换成66，下面以此类推
s/t/44/
sed -f script.sed sed.txt

#将/etc/passwd中的1-3行输出保存到out.txt文件中
sed -n '1,3w out.txt' /etc/passwd
#将/etc/passwd 中的1-3行的开头添加#后保存到out.txt文件中
sed -n '1,3 s/^/#/w out.txt' /etc/passwd

将/bin/bash替换成/bin/csh
#将/bin/bash替换成/bin/csh，这里在“/”前面加了转义符“\”是因为“/”具有其他的功能，所以需要加转义符进行限制
sed -n 's/\/bin\/bash/\/bin\/csh/p' /etc/passwd
#也可以使用“!”作为字符串的分隔符，但是意义和上面的命令是相同的
sed -n 's!/bin\/bash!/bin/csh!p' /etc/passwd

#将内容有a的行，整行替换为ABC
sed '/o/c ZXC' sed.txt
#将内容ee转换为12，注意使用“y”时需要转换前后的字符长度必须相同
sed '/ee/ y/ee/12/' sed.sh

插入

#在1-3行，每行的下面都插入ZXC
sed '1,3a ZXC' sed.sh
#在第一行的上面插入ZXC
sed '1i ZXC' sed.sh

#将带有/root的行剪切到末尾，H表示复制到剪切板，d表示删除，G表示粘贴到指定行之后
sed '/one/{H;d};$G' sed.sh 
#将1，2行复制到3和4行的下面，注意第三行和第四行都会复制1，2两行的内容
sed '1,2H;3,4G' sed.sh