Linux实战教学笔记12-linux三剑客之sed命令精讲

第十二节 linux三剑客之sed命令精讲

标签（空格分隔）： Linux实战教学笔记-陈思齐

---更多资料点我查看

1，前言

• 我们都知道，在Linux中一切皆文件，比如配置文件，日志文件，启动文件等等。如果我们相对这些文件进行一些编辑查询等操作时，我们可能会想到一些vi,vim,cat,more等命令。但是这些命令效率不高，这就好比一块空地准备搭建房子，请了10个师傅拿着铁锹挖地基，花了一个月的时间才挖完，而另外一块空地则请了个挖土机，三下五除二就搞定了，这就是效率。而在linux中的“挖土机”有三种型号：顶配awk，中配sed，标配grep。使用这些工具，我们能够在达到同样效果的前提下节省大量的重复性工作，提高效率。
• 接下来我们就看一下sed的详细说明
• sed 是Stream Editor（字符流编辑器）的缩写，简称流编辑器。什么是流？大家可以想象以下流水线，sed就像一个车间一样，文件中的每行字符都是原料，运到sed车间，然后经过一系列的加工处理，最后从流水线下来就变成货物了。

• 当然上图中的文件内容可以是来自文件，也可以直接来自键盘或者管道等标准输入，最后的结果默认情况下是显示到终端的屏幕上，但是也可以输出到文件中。
• 以前工厂中没有流水线时，生产一件商品需要十几个工种互相配合，这样下来利润太低，后来就有了流水线，生产一件商品虽然还是有十几道工序，但都是机器化生产，工人只是辅助作用，这样利润就大大提高了，产量也大大提高了。
• 编辑文件也是这样，以前我们修改一个配置文件，需要移动光标到某一行，然后添加点文字，然后又移动光标到另一行，注释点东西.......可能修改一个配置文件下来需要花费数十分钟，还有可能改错了配置文件，又得返工。这还是一个配置文件，如果数十个数百个呢？因此当你学会了sed命令，你会发现利用它处理文件中的一系列修改是很有用的。只要想到在大约100多个文件中，处理20个不同的编辑操作可以在几分钟之内完成，你就会知道sed的强大了。

2，软件功能与版本

• Sed命令是操作，过滤和转换文本内容的强大工具。常用功能有增删改查（增加，删除，修改，查询），其中查询的功能中最常用的2大功能是过滤（过滤指定字符串），取行（取出指定行）。
• 我们现在准备学习的sed版本是GNU开源版本的，我的实验环境是CentOS6.8系统，内核版本是2.6.32-642.el6.x86_64

[root@chensiqi1 ~]# cat /etc/redhat-release 
CentOS release 6.8 (Final)
[root@chensiqi1 ~]# uname -r
2.6.32-642.el6.x86_64
[root@chensiqi1 ~]# sed --version   # 查看sed软件版本
GNU sed version 4.2.1

3,语法格式

sed [options] [sed -commands][input -file]
sed [选项]  【sed命令】 【输入文件】

说明：
1，注意sed软件以及后面选项，sed命令和输入文件，每个元素之间都至少有一个空格。
2，为了避免混淆，本文称呼sed为sed软件。sed -commands(sed命令)是sed软件内置的一些命令选项，为了和前面的options（选项）区分，故称为sed命令
3，sed -commands 既可以是单个sed命令，也可以是多个sed命令组合。
4，input -file (输入文件)是可选项，sed还能够从标准输入如管道获取输入。

4，命令执行流程

概括流程：

Sed软件从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行....

小知识：

一次一行的设计使得sed软件性能很高，sed在读取非常庞大的文件时不会出现卡顿的想象。大家都用过vi命令，用vi命令打开几十M或更大的文件，会发现有卡顿现象，这是因为vi命令打开文件是一次性将文件加载到内存，然后再打开，因此卡顿的时间长短就取决于从磁盘到内存的读取速度了。而且如果文件过大的话还会造成内存溢出现象。Sed软件就很好的避免了这种情况，打开速度非常快，执行速度也很快。

详细流程：

现有一个文件person.txt,共有五行文本，sed命令读入文件person.txt的第一行“101，chensiqi,CEO”,并将这行文本存入模式空间（sed软件在内存中的一个临时缓存，用于存放读取到的内容，比喻为工厂流水线的传送带。）

文件person.txt在模式空间的完整处理流程

1，判断第1行是否是需要处理的行，如果不是要处理的行就重新从文件读取下一行，如果是要处理的行，则接着往下走。
2，对模式空间的内容执行sed命令，比如a（追加），i（插入），s（替换）...
3,将模式空间中经过sed命令处理后的内容输出到屏幕上，然后清空模式空间
4，读取下一行文本，然后重新执行上面的流程，直到文件结束

上面的流程概括如下图所示：

Sed软件有两个内置的存储空间：

• 模式空间（pattern space）：是sed软件从文本读取一行文本然后存入的缓冲区（这个缓冲区是在内存中的），然后使用sed命令操作模式空间的内容。
• 保持空间（hold space）：是sed软件另外一个缓冲区，用来存放临时数据，也是在内存中，但是模式空间和保持空间的用途是不一样的。Sed可以交换保持空间和模式空间的数据，但是不能在保持空间上执行普通的sed命令，也就是说我们可以在保持空间存储数据。

5，选项说明

option[选项]	解释说明（带*的为重点）
-n	取消默认的sed软件的输出，常与sed命令的p连用。*
-e	一行命令语句可以执行多条sed命令
-f	选项后面可以接sed脚本的文件名
-r	使用扩展正则表达式，默认情况sed只识别基本正则表达式*
-i	直接修改文件内容，而不是输出到终端，如果不使用-i选项sed软件只是修改在内存中的数据，并不会影响磁盘上的文件*

sed -commands[sed命令]	解释说明（带*的为重点）
a	追加，在指定行后添加一行或多行文本*
c	取代指定的行
d	删除指定的行*
D	删除模式空间的部分内容，直到遇到换行符\n结束操作，与多行模式相关
i	插入，在指定行前添加一行或多行文本*
h	把模式空间的内容复制到保持空间
H	把模式空间的内容追加到保持空间
g	把保持空间的内容复制到模式空间
G	把保持空间的内容追加到模式空间
x	交换模式空间和保持空间的内容
l	打印不可见的字符
n	清空模式空间的内容并读入下一行
N	不清空模式空间，并读取下一行数据并追加到模式空间*
p	打印模式空间内容，通常p会与选项-n一起使用*
P（大写）	打印模式空间的内容，直到遇到换行符\n结束操作
q	退出Sed
r	从指定文件读取数据
s	取代，s#old#new#g==>这里g是s命令的替代标志，注意和g命令区分。*
w	另存，把模式空间的内容保存到文件中
y	根据对应位置转换字符
：label	定义一个标签
b label	执行该标签后面的命令
t	如果前面的命令执行成功，那么就跳转到t指定的标签处，继续往下执行后续命令。否则，仍然继续正常的执行流程

特殊符号	解释说明（带*的为重点）
！	对指定行以外的所有行应用命令*
=	打印当前行行号
～	“First～step”表示从First行开始，以步长Step递增
&	代表被替换的内容
：	实现一行命令语句可以执行多条sed命令*
{}	对单个地址或地址范围执行批量操作
+	地址范围中用到的符号，做加法运算

6，使用范例

6.1 统一实验文本

为了更好的测试sed命令的用法，我们需要准备好下面的测试文件。

[root@chensiqi1 ~]# cat >person.txt<<KOF
> 101,chensiqi,CEO
> 102,zhangyang,CTO
> 103,Alex,COO
> 104,yy,CFO
> 105,feixue,CIO
> KOF          #KOF必须成对出现，表示终止输入
命令说明：使用一条cat命令创建多行文本，文件包含上面的内容，后面的操作都会使用这个文件。

6.2 常用功能-增删改查

接下来我们就开始学习sed命令的“四斧头”-->增，删，改，查。大家也不要着急，我们一个一个的学过去，热豆腐要慢慢的吃。

6.2.1 增

• 接下来我来教大家第一式招法-->往文件指定位置追加或插入指定文本。
• 这个功能非常有用，比如我们平时往配置文件写入几行文本，最常用的是vi或vim命令，但是这2个命令是一种交互式的命令，还需要我们在vi/vim编辑器界