目录
前言
在Linux系统中存在很多文本编辑器,结合之前所学,在shell脚本编写中,grep、sed、awk最为常用,而本章则是来探讨sed在其中的运用。
一、sed工具概述
- 文本处理工具,读取文本内容,根据指定的条件进行处理,如删除、替换、添加等。
- 可在无交互的情况下实现相当复杂的文本处理操作。
- 被广泛应用于shell脚本,以完成自动化处理任务。
- sed依赖于正则表达式。
1.工作原理
读取==》执行==》显示
- 读取:sed从输入流(文件、管理、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)。
- 执行:默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行。
- 显示:发送修改后的内容到输出流。在发送数据后,模式空间将会清空。在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完成。
注意: 默认情况下所有的sed命令都是在模式空间内执行的,因此输入的文件并不会发生变化,除非是用重定向存储输出。
2.常见用法
通常情况下调用sed命令有两种格式如下所示。其中,“参数”是指操作的目标文件。当存在多个操作对象时去,文件之间用逗号","分隔;而scripfile表示脚本文件,需要用"-f"选项指定,当脚本文件出现在目标文件之前时,表示通过指定的脚本文件来处理输入的目标文件。
sed [选项] '操作' 参数
sed [选项] -f scripfile 参数
3.常用选项
选项 | 功能 |
-e | 表示用指定命令或者脚本来处理输入的文本文件,只有一个编辑命令时可省略 |
-f | 表示用指定的脚本文件来处理输入的文本文件 |
-h | 显示帮助 |
-n | 表示仅显示处理后的结果 |
-i.bak | 直接编辑文本文件 |
-r -E | 使用扩展正则表达式 |
-s | 将多个文件视为独立文件,而不是单个连续的长文件流 |
4.常用操作
“操作”用于指定对文件操作的动作行为,也就是sed的命令。通常情况下是采用的"[n1[,n2]]"操作参数的格式。n1、n2是可选的,代表选择进行操作的行数,如操作需要在5-20行之间进行,则表示为"5,20动作行为"。常见的操作包括以下几种。
指令 | 作用 |
-a | 增加,在当前行下面增加一行指定内容。 |
-c | 替换,将选定行替换为指定内容 |
-d | 删除,删除选定的行。 |
-i | 插入,在选定行上面插入一行指定内容。 |
-p | 打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以ASCII码输出。其通常与"-n"选项一起使用。 |
-s | 替换,替换指定字符。 |
-y | 字符转换。 |
-r | 指定读取文件。 |
-w | 保存为文件。 |
二、sed用法实操
1.输出指定行
sed -n 'p' passwd //输出所有内容,等同于 cat test.txt
sed -n '4p' passwd //输出第 4 行
sed -n '2,6p' passwd //输出 2~6 行
sed -n 'p;n' passwd //输出所有奇数行,n 表示读入下一行资料
sed -n 'n;p' passwd //输出所有偶数行,n 表示读入下一行资料
sed -n '2,6{p;n}' passwd //输出第 2~6 行之间的奇数行(第 3、5 行)
sed -n '45,${n;p}' passwd //输出第 45 行至文件尾之间的偶数行
sed -n '2,+3p' passwd //从第2行开始,连续3行进行输出,即输出2~5行
2.sed与正则表达式的结合
sed -n '/is/p' ceshi.txt //输出包含is 的行
sed -n '4,/is/p' ceshi.txt //输出从第 4 行至第一个包含 is 的行
sed -n '/is/=' ceshi.txt //输出包含is 的行所在的行号,等号(=)用来输出行号
sed -n '/^google/p' ceshi.txt //输出以google 开头的行
sed -n '/[0-9]$/p' ceshi.txt //输出以数字结尾的行
sed -n '/\<wood\>/p' ceshi.txt //输出包含单词wood 的行
3.插入符合条件的行
使用插入时,如果添加多行数据,除最后一行外,每行末尾都需要用“\n”符号表示数据未完结,换行。
sed '/the/i 天气还行' ceshi.txt //在含有the行的前面一行添加 天气还行
sed '/the/a 阳光不锈' ceshi.txt //在含有the行的下一行添加 阳光不锈
sed '3a风轻云淡' ceshi.txt //在第3行之后插入字符 风轻云淡
4.删除符合条件的行
nl命令用于计算文件的行数,结合该命令可以更加直观地查看到命令执行的结果。
nl ceshi.txt | sed '3d' //删除第3行
nl ceshi.txt | sed '3,5d' //删除第3~5行
nl ceshi.txt |sed '/cross/d' //删除包含 cross 的行,原本的第 8 行被删除;如果要删除不包含 cross 的行,用!符号表示取反操作, 如'/cross/!d'
sed '/^[a-z]/d' ceshi.txt | nl //删除以小写字母开头的行
sed '/\.$/d' ceshi.txt | nl //删除以.结尾的行
5. 替换文本
sed 's/the/THE/' ceshi.txt //将每行中的第一个the 替换为 THE
sed 's/l/L/2' ceshi.txt //将每行中的第 2 个 l 替换为 L
sed 's/the/THE/g' ceshi.txt //将文件中的所有the 替换为 THE
sed 's/o//g' ceshi.txt //将文件中的所有o 删除(替换为空串)
sed 's/^/#/' ceshi.txt //在每行行首插入#号
sed '/the/s/^/#/' ceshi.txt //在包含the 的每行行首插入#号
sed '3,5s/the/THE/g' ceshi.txt //将第 3~5 行中的所有 the 替换为 THE
sed '/the/s/o/O/g' ceshi.txt //将包含the 的所有行中的 o 都替换为 O