sed命令用法详解

一、概述

       sed（Stream Editor）是一种流编辑器，它是文本处理中非常有用的工具，能够完美的配合正则表达式使用，功能不同凡响。从名字上也可以直观的了解到它是一个流编辑工具。何为流编辑器？就是把文本中的文字按照特定的分隔方式，进行数据流处理。sed就是基于这种方式，它是以换行符以分隔单位，对文本进行逐行的处理。处理时，把当前处理的行存储在临时缓冲区中，称为『模式空间』（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。

前提：首先对于一个文本文件来说，它是由至上而下的一行或N行组成。

1、当用sed命令对文本进行处理的时候，sed先读取对象的文本文件的第一行到模式空间中。

2、当有内容进入“模式空间”时，sed的编辑命令对模式空间中的内容进行编辑操作（修改，替换，删除，追加，显示等等）

3、模式空间中的内容编辑处理完成之后，sed把此内容通过标准输出（默认为显示器）打印出来，并删除模式空间中的内容。

4、第一行处理结束。从新读取第二行的内容进行处理，直到最后一行。

 

二、sed命令的选项

sed    [选项]    [动作]     [inputfile]

选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。

function：
a ：新增行， a 的后面可以是字串，而这些字串会在新的一行出现(目前的下一行)
c ：取代行， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行
d ：删除行，因为是删除，所以 d 后面通常不接任何参数，直接删除地址表示的行；
i ：插入行， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s ：替换，可以直接进行替换的工作,通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 一般是替换符合条件的字符串而不是整行

一般function的前面会有一个地址的限制，例如 [地址]function，表示我们的动作要操作的行。下面我们通过具体的例子直观的看看sed的使用方法。

 

• 删除行

//test.txt 内容如下
11 aa
22 bb
33 cc
23 dd
55 2e

sed '1,2d' test.xx 

输出：
33 cc
23 dd
55 2e

其中1,2d中的d表示删除，而d前面的表示删除的行的地址，而1,2表示一个地址范围，也就是删除第1行和第2行。地址范围的表示一般是  m,n 表示对m和n行之间的所有行进行操作，也包含第m行和第n行。sed的地址寻址中可以使用$表示最后一行，例如 m,$ 表示对m行以及其后面的所有行进行操作，包括最后一样。m,$d就是删除m行以及其后面的所有行内容。当然我们还可以对某一行进行操作，例如2d表示仅仅删除第2行。除了使用数字范围 m,n 表示多行区间，以及m表示单行以外，我们还可以使用正则表达式选出符合条件的行，并对这些行进行操作，同样的是上面的文件：

sed '/2/d' test.txt

输出：
11 aa
33 cc

上面的命令中　/2/ 是一个正则表达式，在sed中正则表达式是写在 /.../ 两个斜杠中间的，这个正则的意思是寻找所有包含2的行，执行相应的操作，也就是删除所有包含2的行，如果我们只想删除以2开头的行呢，只需要修改一下正则表达式就可以了：

sed '/^2/d' test.txt

输出：
11 aa
33 cc
55 2e

 

• 新增行

sed '1a hello world' test.txt

输出：
11 aa
hello world
22 bb
33 cc
23 dd
55 2e

其中a命令表示在指定行的后面附加一行，1a则是在第一行的后面添加一行，添加的内容就是a后面的内容，如果a的前面没有地址限定则在所有行的后面都会添加指定的字符串

sed '1i hello world' test.txt

输出：
hello world
11 aa
22 bb
33 cc
23 dd
55 2e

命令i表示在指定的行的前面插入一行，插入的内容为其后面的字符串

 

• 替换整行

sed '1c hello world' test.txt

输出：
hello world
22 bb
33 cc
23 dd
55 2e

命令c会替换指定的行的所有内容，替换成其后面的字符串，所有的新增，删除，替换行，这些命令前面的地址修饰都可以指定地址空间，也都可以使用正则表达式，命令会应用在选出的符合地址条件的所有行上面，例如：

sed '/^2/c hello world' test.txt

输出：
11 aa
hello world
33 cc
hello world
55 2e

替换以2开头的行，其内容是c命令后面的字符串

 

• 替换行内部分内容

sed中除了上面的命令是针对整行进行操作的之外，还提供一个替换命令，该命令对某一行中的部分字符串进行操作，下面举一个简单的例子，还是同样的文本内容，执行下面的命令：

sed 's/aa/AA/' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e

我们这里说的就是s命令，执行的结果是我们文件中的 aa 被替换成 AA ，我们看一下s命令后面接的是3个斜杠分隔的两串字符串，其含义是   s/待替换的字符串/新字符串/ 也就是说使用后面的 AA 替换文件中出现的前面的 aa 。实际上这里的替换仅仅替换每一行遇到的第一个aa，我们修改一下文件的内容：

//test.txt
11 aa
22 bb
33 cc
23 dd
55 2e
66 aaff ccaa
zz ggaa

sed 's/aa/AA/' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e
66 AAff ccaa
zz ggAA

可以看到第6行的ccaa中的aa是没有被替换的，也就是说此时仅仅替换了每一行搜索到的第一个aa字符串进行操作，那么如果要对一行里面的所有的符合条件的字符串都做替换操作呢，我们可以使用参数g，例如修改命令如下：

sed 's/aa/AA/g' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e
66 AAff ccAA
zz ggAA

在最后一个斜杠后面加上g选项之后，表示进行全局替换，也就是说一行中所有符合条件的旧字符串都会被替换成新字符串，而不仅仅是第一个。与其他针对行的操作一样，s命令也可以进行地址选择，其地址使用方法与我们之前的一样，也就是在s的前面加上地址空间限定，例如：

sed '1s/aa/AA/g' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e
66 aaff ccaa
zz ggaa

可以看到仅仅对第一行进行了替换操作，其他的地址限定方法同样也是可以使用的，我们可以使用m,n的限定，例如：

sed '5,$s/aa/AA/g' test.txt

输出：
11 aa
22 bb
33 cc
23 dd
55 2e
66 AAff ccAA
zz ggAA

表示对第5行直到文件末尾的所有行进行搜索替换操作，同样s命令的地址限定也支持使用正则表达式限定符合条件的行，然后在这些行中进行字符串的搜索替换操作，例如：

sed '/^[0-9]/s/aa/AA/g' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e
66 AAff ccAA
zz ggaa

我们在s命令前面添加了 /^[0-9]/ 这个修饰，该正则表达式表示对所有以数字开头的行，执行s操作

另外一个要说明的是  s/待替换的字符串/新字符串/ 这种格式中 / 作为分隔符并不是一定的，当使用s命令时候，我们可以使用别的分隔符，实际上s后面紧接着的字符就是分隔符，所以不一定是 / 符号。例如：

echo 'aabbccaadd' | sed s#aa#AA#g

输出：
AAbbccAAdd

这里s命令后面跟着的#符号被当作分隔符了

 

• 搜索并输出行内容

sed还提供一个p命令用于搜索符合条件的行，并输出该行的内容，而不做其他的任何修改，例如：

//test.txt
11 aa
22 bb
33 cc
23 dd

sed '2p' test.txt

输出：
11 aa
22 bb
22 bb
33 cc
23 dd

可以看到第二行被输出来了，但是sed好像将文件的所有内容输出了一遍，而第2行则多输出了一次，实际上sed默认情况下是会将所有标准输入的数据又重新输出到标准输出的，我们可以加上 -n 选项让sed仅仅是输出经过处理之后的那些行，而不是输出之前从标准输入中获取到的所有行内容，例如：

sed -n '2p' test.txt

输出：
22 bb

这样仅仅会输出p命令的处理结果了，-n 选项一般是与p命令联合使用的，其他的增加，删除，替换行的命令是不需要 -n 选项的

 

• 将修改保存到源文件中

我们之前做的所有实验，实际上都没有修改test.txt文件的内容，也就是说我们看到的修改结果仅仅输出到控制台上，而文件test.txt的内容是没有修改的，我们可以使用 -i 选项告诉sed直接修改文件的内容，而不是将修改结果输出到终端上，例如：

sed -i '2d' test.txt 

命令运行之后，我们发现test.txt的第2行没有了

 

• sed正则中的元字符