Linux---sed工具

Linux之sed用法

用sed对文本的增删改查操作

---

---

1.sed工具概述

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区，称为"模式空间"（pattern space）,接着用sed命令处理缓冲区的内容，处理完成后，把缓存区的内容送往屏幕，接着处理下一行，这样不断重复，直到文件末尾。文件内容并有改变，除非使用重定向存储输出。
Sed主要用来自动编辑一个或多个文件：简化对文件的反复操作
编写转换程序。

1.文本处理工具，读取文本内容，根据指定的条件进行处理，如删除，替换，添加等

2.可在无交互的情况下实现相当复杂的文本处理任务

3.被广泛应用于shell脚本，已完成自动化处理任务

4.工作原理

读取：sed从输入流（文件，管道，标准输入）中读取一行内容并存储到临时缓冲区中（又称模式空间）
执行：默认情况下，所有的sed命令都在模式空间中顺序的执行，除非制定了行的地址，否则sed命令将会在所有行上依次执行
显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容都被处理完。
注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用'sed -i 修改源文件，或使用重定向输出到新文件中

---

2.sed命令格式

基本操作格式

sed -e ‘操作’ 文件1 文件2
sed -f 脚本文件 文件1 文件2
sed -i -e ‘操作’ 文件1 文件2

执行多条命令的格式

1.sed -e ‘操作1’ -e ‘操作2’ 文件
2.sed -e ‘操作1；操作2’ 文件
3.sed -e ‘n{
操作1
操作2
····
}’ 文件1

常用选项

参数	作用
-e	表示用指定命令来处理输入的文本文件，只有一个操作命令时可以省略，一般在执行多个操作命令时使用
-f	表示用指定的脚本文件来处理输入的文本文件
-h	显示帮助
-i	直接修改目标文本文件（谨慎使用）
-h	仅显示script处理后的结果

3.sed命令的操作符

操作	作用
s	替换，替换指定字符
d	删除，删除选定的行
a	增加，在当前行下面增加一行指定内容
i	插入，在选定行上面插入一行指定内容
c	替换，将选定行替换为指定内容
y	字符替换，转换前后的字符长度必须相同
p	打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容，则以ASCII=:打印行号
l	打印数据流中的文本和不可打印的ASCII字符（如结束符$,制表符\t）

---

示例

当前用户opt目录下有123.txt,以123.txt示例

1.默认打印

sed 有个默认输出，再加上p,会打印两行（相当于遍历一遍打印一遍）
sed -e ‘p’ 123.txt

-n禁止了默认输出，只有一行 相当于去除冗余项
sed -n ‘p’ 123.txt

只显示行号
sed -n ‘=’ 123.txt

显示行号和每行的内容
sed -n ‘=;p’ 123.txt

2.要求打印

1.按照行号

sed -n ‘1p’ 123.txt //打印第一行
sed -n ‘4p’ 123.txt //打印第四行
sed -n ‘$p’ 123.txt //打印第最后一行

2.按行号区间

sed -n ‘1,3p’ 123.txt //打印1-3行
sed -n ‘20,$p’ 123.txt//打印20至结尾
sed -n ‘4,+2p’ 123.txt//打印第4行再加两行内容

3.指定间隔行
这里多行操作必须加 -e

sed -n -e ‘2p’ -e ‘$p’ 123.txt//打印第二行和最后一行

4.奇数行和偶数行打印

sed -n ‘n;p’ 123.txt//偶数行
sed -n ‘p;n’ 123.txt//奇数行
这里的n就是指高级模式的意思
n在p前面，跳过一行打印下一行，就是偶数行
p在n前面，打印第一行，然后跳过一行，就是奇数行

3.过滤行内容

1.对包含的字符串进行过滤打印

sed -n ‘/o/p’ 123.txt //包含o所有的行
sed -n ‘/th/p’ 123.txt //包含th的所有的行

2.应用基础正则表达式
这里以/etc/passwd 文件为例

sed -n ‘/^root/p’ /etc/passwd//以root为开头的所有内容，全文本搜索
sed -n ‘/bash$/p’ /etc/passwd//以bash结尾的所有内容，全文本搜索

sed -n ‘4,/bash$/p’ /etc/passwd//从第四行开始，一直打印的第一个以bash为结尾的所在行

4.删除

1.通过行号删除
sed -i 时会对文本进行实际操作（建议对目标文件先进行备份，再进行操作）
不加 -i 则不会对源文件进行修改，只会显示在控制面板上

sed -n ‘3d;p’ 123.txt//删除第三行，打印剩余
sed -n ‘5,20d;p’ 123.txt//删除5-20行，打印剩余
sed -n ‘5,$d;p’ 123.txt//删除5至最后一行，打印剩余

反向删除操作

sed ‘4,6!d’ 123.txt//只保留4-6行 其余删除

2.匹配字符串内容删除

sed ‘/one/d’ 123.txt//删除包含one的行
sed ‘/one/,/five/d’ 123.txt//删除one-five的行
sed ‘/one/,/five/!d’ 123.txt//除了one-five的行，其余删除
sed ‘/one/!d’ 123.txt//除了包含one的行，其余删除
3.字符串搭配正则进行删除
sed ‘/^$/d’ 123.txt //通过 '^ $'来删除

删除空行的三种方法：

1.grep -v "^$" 123.txt

2.cat 123.txt | tr -s "\n"

3.ed '/^$/d' 123.txt  

5.替换

格式：行范围 s/旧字符串/新字符串/替换标记
其中，替换标记：
数字：表明新字符串将会替换第几处匹配的地方
g：新字符串将会替换所有匹配的地方
p:打印与替换命令匹配的行，与-n一起使用
w（文件）：将替换的结果写入文件

命令：

s：字符串替换
c：整行替换
y：字符替换，替换前后的字符串长度必须相同

1.字符串替换
这里以/etc/passwd 文件为例

sed -n ‘s/root/test/2p’ /etc/passwd//指定该行的第二个root替换成test
注意：上面的p不是指行数还是指这一行里面的第几个
sed -n ‘s/root/test/gp’ /etc/passwd//所有root替换成test
sed -n ‘/^root/ s/^/#/p’ /etc/passwd//以root开头开始处理，把开头为空的替换成#

2.字母字符大小写替换

sed ‘s/[a-z]/\u&/’ 123.txt //首字母大写
sed ‘s/[a-z]/\u&/g’ 123.txt //小写全部转大写
sed ‘s/[A-Z]/\l&/g’ 123.txt//大写转小写

l&是转换小写的符号，需要转义字符\ u&是转换大写的符号

3.整行替换

sed ‘/one/c ok’ 123.txt //将one所在的行

4.单字符替换
使用y,是对单个字符进行替换，每个字符需要一 一对应，不是整体替换，前后字符串长度需要一致

sed ‘y/aaa/123/’ 123.txt

这里需要注意的是，虽然命令行写aaa替换成123，但是加y之后只能识别一个字符也就是1，所以会替换成111

6.增加

a：在行后添加
i：在行前添加
r：在行后读取文件内容

sed ‘/world/a linux’ 123.txt//在world后添加linux

sed ‘/world/i linux’ 123.txt//在world前添加linux

sed ‘$r test123.txt’ 123.txt//先读取test123.txt内容,再123.txt的末尾插入test123.txt的所有内容

总结

1.sed命令是一种流编辑器读取文件会进行逐行读取加上指令操作，所以过大的文件一定要拆分后再交给sed处理
2.sed -r 搭配扩展正则表达式使用，使用{n\ } \l{n, \ } {n, m \ }
不需要加""
3.用 -i 时一定要先备份(尤其对重要文件的操作)，或者事先实验好确定无误时，再使用 -i
4.sed命令的重点在于增删改查四个功能，可以运用在脚本中对重要文件配置的修改，添加等作用尤其有效