Linux命令之sed详细介绍

1. sed简介

sed全名为stream editor，是一款新型的，非交互式的编辑器。同时它也是基于数据流的方式对文本信息进行处理。sed和awk，grep被称为linux三剑客。
这三个工具都是linux下非常强大的文本处理工具。sed擅长对数据进行编辑，grep擅长搜索文本的内容，而awk则擅长处理和生成文本报表。今天我们主要来了解一下sed的常见用法有哪些？

2. sed工作原理

前面也说过了，sed在处理数据时，会逐行读取文本内容，sed会将正在处理的行保存在一个临时的缓冲区，处理完缓冲区的当前行之后会把处理后的内容显示在屏幕上，而原本的文本文件内容并不会被改变。但是sed也有特定的选项可以修改到原本的文本文件。sed的工作流程如下：

3. sed命令格式

sed命令格式如下：

sed [选项] [脚本命令] 文件名

来看一个简单的sed命令：

sed -n 's/hello/hi/' 1.txt

先不管这句指令是什么意思，这里可以看到一个较为完整的sed指令由上述几个部分组成：-n 对应选项; ‘s/hello/hi/’; 对应脚本命令 ;1.txt对应文件名。
事实上有时候，选项也可以不需要。

4. sed选项

不管是什么linux指令，其实复杂都是复杂在它的选项上。不同的选项有着不一样的含义和用法，sed也是如此。sed的选项多种多样，但是常见的还是那么几个，下面就列举了常见的一些sed选项。

选项	含义
-n	取消默认打印到屏幕上
-i	直接编辑源文件的内容，并且不会输出到屏幕上
-f	指定一个sed脚本到命令行执行
-e	多重编辑，且命令的顺序会影响结果
-r	使用扩展正则

除了上述的选项以外，还有各种操作命令。这些操作命令是写在sed命令格式中的“脚本命令"中的。其作用就是告知sed对当前行进行怎么样的处理。常用的操作命令有以下：

命令	含义
p	打印输入行
d	删除行
s	字符串替换
i	在当前行前插入文本
a	在当前行之后插入文本
c	使用新文本覆盖当前行

5. sed命令使用实例

学编程的时候大家都是从第一个程序hello world开始的。那么学会使用sed也从hello world开始一层一层递进吧。
有如下hello.txt文件：

Hello world!
Hello world!
Hello world!
Hello world!
Hello world!

5.1 P命令

p命令： 打印功能
p是print的缩写，意为打印。
一个最简单的p命令的使用：
例1：

sed 'p' hello.txt
=>结果：
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!

打印了10句hello world。这是因为默认情况下，sed工具本身会把缓存行的内容输出在屏幕上，而p命令又将匹配到的缓存行输出了一遍。所以本来源文件5行hello world打印了10行出来。另外，需要注意的是，这里sed并没有修改到源文件。
选项-n可以取消sed默认打印输出行的功能。
例2：

sed -n 'p' hello.txt
=>结果：
Hello world!
Hello world!
Hello world!
Hello world!
Hello world!

取消了默认打印后，只有p命令打印出来的五行hello world。
当然，我们也可以对p命令的执行加以限制，只打印需要打印的行，例如，只打印2,3两行：
例3：

sed -n '2,3p' hello.txt

现在为方便查看测试结果，更改测试文件为test.txt

hello bob
hey lili
hi  sasa
bye coco

除了像上述指令那样可以直接用2,3这样的数字打印指定的行，也可以采用匹配模式来匹配对应的行并且打印，例如：
例4：

sed -n '/hello/p'  test.txt
=>结果：
hello bob

/hello/表示的是对输入行进行匹配，只有有hello的行才可以执行p命令，从测试结果也可以直观的看出。

5.2 d命令
d是delete的意思，意为删除。在sed逐行处理文本时，对于匹配的行执行d命令，删除该输入行。依旧以上述test.txt为例：
例5：

sed '/lili/d' test.txt
=>结果：
hello bob
hi  sasa
bye coco

显然，对于有lili的行就会被sed删除。
同样的，也可以直接指定删除某几行：
例6：

sed '2,$d' test.txt

说明：从第二行开始到最后一行全部删除。

5.3 替换命令：s
s命令起替换功能。其基本用法就是s/A/B/,对于每一输入行，都使用字符串B替换字符串A。举个例子：
例7：

sed 's/sasa/gaga/' test.txt
=>结果：
hello bob
hey lili
hi  gaga
bye coco

显而易见，文本中的sasa被修改成了gaga。但是源文件中的文本内容依旧是没有被修改的。
另外，对于一个输入行如果有多个匹配项时，默认情况下只会替换第一个匹配项。但是替换标志g则可以进行全局替换。
例8：

sed 's/sa/ga/' test.txt
=>结果：
hello bob
hey lili
hi  gasa
bye coco

如上可以看到没有使用替换标志g进行全局替换，则替换时只会替换第一个匹配项。
例9：

sed 's/sa/ga/g' test.txt
=>结果：
hello bob
hey lili
hi  gaga
bye coco

这样一来，两个sa都被ga替换了。

例10：

sed -n 's/sa/ga/gp' test.txt
=>结果：
hi  gaga

上例中，选项-n与替换标志p结合使用，起到了只打印发生替换的行的效果。g依然起行内全局替换效果。
在讲到替换命令s时，我们不得不将另外一个选项搬出来。前面说到，sed默认是对缓存空间的文本进行修改，并不会影响到源文件。而选项-i则可以直接修改到源文件，并且不会显示出来。
例11：

sed -i 's/sa/ga/g' test.txt
=>cat test.txt
hello bob
hey lili
hi  gaga
bye coco

查看源文件可以发现通过-i选项直接修改了源文件的内容。建议在使用-i选项前对文件进行备份。

5.4 多重编辑命令e
e是编辑命令，允许sed进行多重编辑的任务。
例12：

sed -e '1,2d' 's/ga/sa/g' test.txt
=>结果：
hi  sasa
bye coco

上述sed是这么执行的，当输入行是第一行和第二行时，执行了删除的指令。
执行第3,4行时，‘1,2d’不起效果，进入了’s/ga/sa/g’ 进行替换指令。所以通过e命令，sed执行了两重编辑的操作。但是有的时候，多重编辑任务之间不能交换顺序，如果交换顺序，最终得到的结果可能是不一样的。
例13：

cat test.txt

hello bob
hey lili
hi  gaga
bye coco

sed -e 's/coco/gaga/' -e 's/gaga/sasa/' text.txt
=>结果：
hello bob
hey lili
hi  sasa
bye sasa

修改执行顺序：
sed -e 's/gaga/sasa/' -e 's/coco/gaga/' text.txt
hello bob
hey lili
hi  sasa
bye gaga

可见，多重编辑下改变编辑命令之间的顺序可能会影响到输出。

5.5 插入命令：i
i为插入命令，会在当前行处理之前插入新的文本。
例14：

sed 'i 666' test.txt
=>结果：
666
hello bob 
666
hey lili 
666
hi  gaga 
666
bye coco

如上没有对i命令进行模式匹配，所以对在每个输入行之前都有插入新的文本。
例15：

sed '/coco/i 666' test.txt
=>结果：
hello bob
hey lili
hi  gaga
666
bye coco

对匹配到coco的行之前插入新的文本。

5.6 追加命令a
追加命令a和插入命令i有点类似，不过追加命令是在当前行处理之后追加新的文本。
例16：

sed '/hey/a 666' test.txt
=>结果：
hello bob
hey lili
666
hi  gaga
bye coco

匹配到hey的行之后，在该行处理之后追加了新的文本。

5.7 修改命令c
使用修改命令c，当匹配到合适的行之后，会使用新的内容来覆盖该行的全部信息。
例17：

sed '/coco/c  666' test.txt
=>结果：
hello bob
hey lili
hi  gaga
666

使用“666”新文本替换了原先的行。

总结

sed的用法还有很多，由于篇幅有限，这里就不一一介绍。如有兴趣，可以去到官网sed官网细细品味。我认为最关键的还是对-i选项的掌握，多写多用就会熟悉。
ps:刚前几天接到一个小任务，有个文本，大概500多行需要我修改。如果手动一行一行替换怎么也得小几十分钟 ，使用sed命令秒秒钟完事。sed真香！！

又过零点了，睡觉！