shell脚本之“sed“命令

1.sed编辑器概述

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。

sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

sed的工作流程主要包括读取、执行和显示三个过程:

• 读取: sed从输入流（文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space)。

• 执行:默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。

• 显示:发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意:默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

常规使用方式：

cat  文件名 | （sed/awk/grep）

命令格式

sed -e '操作' 文件1 文件2 ...
sed -n -e '操作' 文件1  文件2   #-n忽略显示过程
sed -f 脚本文件 文件1 文件2 ...   #-f调用指定脚本文件中的命令     
sed -i -e '操作' 文件l 文件2 ...   #-i修改文件内容

sed -e 'n{    #n指定行号，在多少行执行以下命令操作
操作1
操作2
}' 文件1 文件2 ...

2.sed命令常用选项

选项	命令含义
-e或expression	表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略一般在执行多个操作命令使用
-f或- -file=	表示用指定的脚本文件来处理输入的文本文件
-h或- -help	显示帮助
-n、- -quiet 或silent	禁止sed编辑器输出，但可以与p命令一起使用完成输出
-i	直接修改目标文本文件

3.sed命令常用操作

操作	操作含义
s	替换，替换指定字符（字符串替换）
d	删除，删除选定的行
a	增加，在当前行下面增加一行指定内容
i	插入，在选定行上面插入一行指定内容
c	替换，将选定行替换为指定内容
y	字符转换，转换前后的字符长度必须相同
p	打印，如果同时指定行，表示打印指定行;如果不指定行，则表示打印所有内容;如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用
=	打印行号
l(小写l)	打印数据流中的文本和不可打印的ASCII字符（比如结束符$、回车符\r、制表符）\t

4.sed命令演示操作部分

sed命令查询演示操作部分：

[root@clr /opt]# sed -n '3,${p;n;n;p}' ./test1  #从第三行开始打印，遇到n换行，又遇到n换行，打印输出
three
five
[root@clr /opt]# sed -n '1,${p;n;n;p}' ./test1  #从第1行开始，执行该操作到末尾结束
one
three
four
six
seven
nine
ten
twelve

sed命令删除演示操作部分：

删除空行的三种方法：

[root@clr /opt]# cat 文件名 | grep -v '^$'
[root@clr /opt]# cat 文件名 | tr -s '\n'
[root@clr /opt]# cat 文件名 | sed '/^$/d

替换

行范围   s/旧字符串/新字符串/替换标记

4种替换标记：

替换标记	标记含义
数字	表明新字符串将替换第几处匹配的地方
g	表明新字符串将会替换所有匹配的地方
p	打印与替换命令匹配的行，与-n一起使用
w文件	将替换的结果写到文件中

sed命令替换演示操作部分：

对指定修改操作内容另指定到保存文件的两种方式；

自定义分割符的使用；

sed 'y/145/ABC/' test  #将该文件内所有的1字符转换成A，所有的4字符转换成B，所有的5字符转换成c

sed的分组操作；

5.总结

查询

命令操作	操作含义
sed -n ‘行号p’	打印指定行号的行
sed -n ‘行1,行2p’	打印行1与行2区间的行
sed -n ‘行1,+np’	打印行1与其之后连续n行
sed -n ‘/字符串/p’	打印包含字符串的行
sed -n ‘/正则表达式/p’	打印所有包含正则能够匹配到内容的行

删除

命令操作	操作含义
sed ‘行号d’	删除指定行号的行
sed ‘行1,行2 d’	删除行1与行2区间的行
sed ‘/字符串/d’	删除包含字符串的行
sed ‘/正则表达式/d’	删除所有包含正则能够匹配到内容的行
sed ‘/字符串1/,/字符串2/d’	从第一个包含字符串1的行开始删除到第一个包含字符串2的行，之后的行会重复之前的规则操作
sed ‘行号,/字符串/d’	删除从指定行到第一个包含字符串的行

替换

命令操作	操作含义
sed ‘s/旧字符串/新字符串/’	替换匹配行的第一个对应的字符串
sed ‘s/旧字符串/新字符串/2’	替换匹配行的第二个对应的字符串
sed ‘s/旧字符串/新字符串/g’	替换匹配行的所有对应的字符串
sed ‘s/旧字符串/新字符串/gw file’	把替换后的行内容保存到指定文件
sed -n ‘s/旧字符串/新字符串/gp’ > file	把替换后的行内容重定向写入到指定文件
sed ‘行号 s/旧字符串/新字符串/g’	替换指定行的对应的字符串
sed '行1,行2 s/旧字符串/新字符串/g’	替换行1与行2区间的匹配行的对应的字符串
sed ‘/字符串/ s/旧字符串/新字符串/g’	替换匹配指定字符串的行内容
sed ‘/正则表达式/ s/旧字符串/新字符串/g’	替换匹配到正则表达式的行内容
sed ‘行号c XXXX’	替换指定行的整行内容
sed ‘y/abc/123/’	替换所有相对应的字符

自定义分隔符

命令操作	操作含义
s/xx/xx/	后面的替换分隔符可以使用其他字符代替，需要确保三个分隔字符保持一致

插入

命令操作	操作含义
sed ‘行号a XXXX’	在指定行下面插入内容
sed ‘/字符串/a XXXX’	在匹配到字符串内容行下面插入内容
sed ‘行号i XXXX’	在指定行上面插入内容
sed ‘/字符串/i XXXX’	在匹配到字符串内容行上面插入内容
sed ‘行号r file’	在指定行下面读取文件内容