文本处理器sed 工具

在Linux/UNIX 系统中包含很多种类的文本处理器或文本编辑器,其中包括我们之前学习过的VIM 编辑器与grep 等。
而 grep，sed，awk 更是Shell 编程中经常用到的文本处理工具， 被称之为Shell 编程三剑客。

1.1、sed 工具

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。

1.1.2、sed是什么

sed 命令是利用脚本来处理文本文件。它可以依照脚本的指令来处理、编辑文本文件。主要用来自动编 辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

1.1.3、sed的原理

但是使用 sed 命令对文本进行操作之前必须要知道它的原理，它是怎么工作中的，这个非常重要，否则 会影响操作的结果的正确性

sed 的工作流程主要包括 读取、执行和显示三个过程。
读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

1.1.4、sed的常用操作选项
1.sed 命令常见用法
通常情况下调用 sed 命令有两种格式，如下所示。

其中，“参数”是指操作的目标文件， 当存在多个操作对象时用，文件之间用逗号“，”分隔；而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

• sed [选项] '操作' 参数
• sed [选项] -f scriptfile 参数

常见的 sed 命令选项主要包含以下几种。

• -e 或--expression=：表示用指定命令或者脚本来处理输入的文本文件。
• -f 或--file=：表示用指定的脚本文件来处理输入的文本文件。
• -h 或--help：显示帮助。
• -n、--quiet 或 silent：表示仅显示处理后的结果。
• -i.bak：直接编辑文本文件。
• -r, -E 使用扩展正则表达式
• -s  将多个文件视为独立文件，而不是单个连续的长文件流

“操作”用于指定对文件操作的动作行为，也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5～ 20 行之间进行，则表示为“5，20 动作行为”。常见的操作包括以下几种。

• a：增加，在当前行下面增加一行指定内容。
• c：替换，将选定行替换为指定内容。
• d：删除，删除选定的行。
• i：插入，在选定行上面插入一行指定内容。
• p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
• s：替换，替换指定字符。
• y：字符转换。

1.1.4、用法示例

1.1.4.1、打印输出 -n

cat -n /etc/passwd > /tmp/passwd

cat -n 是加上序号

sed '' /tmp/passwd

打印原输出

sed 'p' /tmp/passwd

带有自动打印功能，p又再打印一遍

sed -n 'p' /tmp/passwd

-n 选项关闭自动打印功能

当然，如果-n后面加数字还能 显示  行号

sed -n '1p' /tmp/passwd

直接显示第1 行

显示范围

sed -n '1,3p' /tmp/passwd

sed -n '1p;3p;5p' /tmp/passwd

显示第一行 三行 五行

sed -n '3,+3p' /tmp/passwd

往后加3行，3行之后的再显示三行

奇数偶数表示

sed -n '1~2p' /tmp/passwd

1以及每隔2个，奇数

1从第一行开始，2选择每隔两行的行，p并打印出来

sed -n '2~2p' /tmp/passwd

偶数

#从第二行开始，2选择每隔两行的行，p并打印出来

sed -n '2~3p' /tmp/passwd

#从第二行开始，3选择每隔三行的行，p并打印出来

 

sed -n '$p' /tmp/passwd

显示最后一行

sed -n '/root/p' /tmp/passwd

将包含root的行打印出来 /root(需要匹配的内容)/p(打印) 文件名

与 grep root /etc/passwd 功能相同

sed -n '/bash$/p' /tmp/passwd

将bash结尾 打印出来 文件名

sed -n '/s...x/p' /tmp/passwd

/s...x/ 匹配包含一个字母 s，后面跟着任意三个字符，最后是一个字母 x 的行 p打印

sed -n '/[0-9]/p' /etc/passwd

/[0-9]/ 匹配包含至少一个数字的行

 

sed -n '/^root/p' /etc/passwd

包含以root开头的行

sed -n '1!p' /tmp/passwd

1!p 的意思是除了第一行之外的所有行都会被打印出来

sed -n '/nologin/!p' /tmp/passwd

除了nologin都能打印出来

sed -n '/root/=' /tmp/passwd

描文件 /opt/passwd，找到所有包含字符串 "root" 的行；对于每一行，输出它在文件中的行号。

 

sed -n '/root/=;/root/p' /tmp/passwd

多个模式匹配用分号或 者-e

sed   -n    -e    '/root/='     -e      '/root/p'    /tmp/passwd
这里，-e 允许你指定多个 sed 脚本，每个 -e 后面跟一个脚本。

第一个脚本 /root/= 匹配包含 "root" 的行并打印其行号，第二个脚本 /root/p 匹配包含 "root" 的行并打印该行内容。

sed -n '$=' zz.txt

相当于统计文件有几行

sed -n '$=;1p' zzz.txt

可以验证是逐行匹配

1.1.4.2、扩展正则r

sed 默认不支持扩展正则，如果要支持，需要加 -r 选项

sed -n '/^root|^shutdown/p' /etc/passwd

sed -nr '/^root|^shutdown/p' /etc/passwd

可结合管道

df -h | sed -n '2p'

注意：通常 -n 和 ‘p’ 一起使用

1.1.4.3、增加内容 i

sed '2ihello world' /tmp/passwd

表示操作发生在第二行，i: 表示插入操作，即在指定的行之前插入文本hello world

sed '3ihello\nworld' /tmp/passwd

sed '1ahello world' /tmp/passwd

 a在当前行下面增加一行

sed '/li/a hello world' /tmp/passwd

在li的后面加

sed '2,4a hello world' /tmp/passwd

sed '/li/a hello world;3p;3i shell' /tmp/passw

注意： a 或者 i 后面的所有内容都会被理解为需要添加的内容，也就是；无效

1.1.4.4、删除 d

sed  'd'  /tmp/passwd

sed '1d' /tmp/passwd

sed  '1,4d'   /tmp/passwd

删除一到四行

 

echo '' >> /tmp/passwd

echo '###' >> /tmp/passwd

在最后一行加入空行和###

把#开头的删除

sed  ‘/^$/d/'   /tmp/passwd     把空行删除

1.1.4.5、替换c

s/pattern/string/ 修饰符 查找替换 , 支持使用其它分隔符，可以是其它形式： s@@@ ， s###

替换修饰符：

• g 行内全局替换
• p 显示替换成功的行
• w /PATH/FILE 将替换成功的行保存至文件中
• I,i 忽略大小写

实验

sed ‘/^root/ckgc’   /

sed '/^root/ckgc' /etc/passwd

把文件内容都换成yc

当然这里没有真的改变文件内容，只是输出到屏幕，如果想要真的替换，需要用 -i 选项，建议用 -i 之前对原文 件进行备份

1.1.4.6、搜索替换 s

c 指令使得整行内容全部替换， d 指令删除整行，如果要只替换某个关键词的话需要使用 s 指令

格式： sed 选项 ‘s/ 搜索的内容 / 替换的内容 / 动作 ’

搜索 root 所在行把第一个出现的 root 换成 ROOT

搜索 root 所在行，把所有出现的 root 都替换成 ROOT

搜索字母 o ，仅替换每行第二个 o 为大写 O

sed sed -n ‘s/o/O/2p’   /tmp/passwd

将 root 替换为空

sed -n 's/root//gp' /tmp/passwd

把 1-5 行的开头都插入 # 号

把所有 /sbin/nologin 换成yc ， / 需要转义

sed  -n 's/\/sbin\/nologin/yc/gp'  /etc/passwd

但是使用默认的转义符之后阅读体验非常差，而且还容易写错，我们可以指定更有辨识度的转义符，例 如@,#, 数字都可以，将原来的 / 替换成我们想要的

我们只想搜索以 sync 开头的行并且前面加 # 号，那就需要保留 sync ，那就要把搜索的字符写成 & 就会被保 留不会一起替换，观察不加& 的区别。

忽略大小写 igp

1.1.4.7、插入文件 r

我们还可以将其他文件插入到当前文件当中处理 ，将/etc/hosts文件插入到/tmp/passwd 第三行后面

sed  '3r  /etc/hosts' /tmp/passwd

sed  '/2/r  /etc/hosts'    /tmp/passwd

在匹配到包含数字  2 的行之后读取并插入文件  /etc/hosts 的内容

插入的是包含的东西

sed -n '$r  /etc/hosts'  /tmp/passwd

1.1.4.8、另存为到文件 w

使用 w 指令将当前编辑的文件内容另存到其他文件中，如果目标文件已存在，则会将目标文件的内容覆盖。

sed 'w /tmp/hosts' /etc/hosts 这个命令是将 /etc/hosts 文件中的内容复制到 /tmp/hosts

文件中

如果 /tmp/hosts 文件不存在， sed 命令会创建它；如果存在， sed 将会覆盖该文件的内容。

如果你想将 /etc/hosts 文件的内容追加到 /tmp/hosts 文件末尾，可以使用 >> 符号来实现，如

sed 'w /tmp/hosts' /etc/hosts >> /tmp/hosts 。

从 /etc/hosts 另存为到 tmp/hosts 中的第一行

1.1.4.9、同时编辑 -e

可以用-e同时编辑，sed支持一个或多个-e参数

1.1.4.10、分组操作ne {} （）

当我们需要对一行数据进行多次操作的时候我们可以使用{}进行分组

将root变成大写，x也是变成大写

sed   -ne '/root/{s/root/ROOT/;s/x/X/g}'   -ne   '1,10p'    /tmp/passwd

如果只是想看1到10行，则-ne

分组 s//代表查找替换 （）代表分组 \1 代表留下的组 r：读取指定文件

从 ifconfig 命令的输出中提取 ens33 网卡的 IP 地址。通过 sed 的正则表达式匹配，它会找到

包含 inet 字段的行，并从中提取出 IP 地址部分，然后输出这个 IP 地址

1.1.4.11、读取完退出

正常情况下sed会在读取完所有数据行之后退出，但是我们可以随时使用q指令来提前退出sed

注意：q不要和-i一起使用，以免覆盖源文件

1.1.4.12、sed脚本

有时我们需要对文件进行的增、删、改比较多，但是一条一条修改比较麻烦，所以对于指令比较多的情 况，我们可以先将所有的sed 指令写入一个文本文件中，然后通过 sed 的 -f 选项读取该指令文件即可实现多指令操作。

使用 sed 命令迁移符合条件的文本时，常用到以下参数 .

• H:复制到剪贴板；
• g、G:将剪贴板中的数据覆盖/追加至指定行；
• w：保存为文件；
• r：读取指定文件；
• a：追加指定内容。具体操作方法如下所示。
• I,i 忽略大小写

1.1.4.13、 sed的高级应用

-r 匹配正则

保留空间的使用

结合变量使用

1.1.4.14、 拓展和总结

总结

=是行号，/p是打印