linux学习笔记文件处理三剑客之SED

更多文章请参考：
www.zzmao.top

一、sed介绍
    sed 全名为 stream editor，流编辑器，用程序的方式来编辑文本，功能相当的强大。是贝尔实验室的 Lee E.McMahon 在 1973 年到 1974 年之间开发完成，目前可以在大多数操作系统中使用，sed 的出现作为 grep 的继任者。与vim等编辑器不同，sed 是一种非交互式编辑器(即用户不必参与编辑过程)，它使用预先设定好的编辑指令对输入的文本进行编辑，完成之后再输出编辑结构。sed 基本上就是在玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。

二、sed工作原理
    sed会一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，成为"模式空间"，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出
三、语法

sed [选项] ‘command’ 文件名称
选项部分，常见选项包括-n，-e，-i，-f，-r选项。
command部分包括：[地址1，地址2] [函数] [参数(标记)]

四、常用选项及命令
-e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；
-f<script文件>或--file=<script文件>：以选项中指定的script文件来处理输入的文本文件；
-h或--help：显示帮助；
-n或--quiet或——silent：仅显示script处理后的结果；
-V或--version：显示版本信息。


a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除，删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容，并替代当前模板块中的文本。
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file 写并追加模板块到file末尾。  
W file 写并追加模板块的第一行到file末尾。  
! 表示后面的命令对所有没有被选定的行发生作用。  
= 打印当前行号码。  
# 把注释扩展到下一个换行符以前

六、使用介绍
-n: 静默模式，不再默认显示模式空间中的内容
-i: 直接修改原文件
-e SCRIPT -e SCRIPT:可以同时执行多个脚本
-f /PATH/TO/SED_SCRIPT
sed -f /path/to/scripts  file
-r: 表示使用扩展正则表达式
Address：
1、StartLine,EndLine
比如1,100
$：最后一行
2、/RegExp/
/^root/
3、/pattern1/,/pattern2/
第一次被pattern1匹配到的行开始，至第一次被pattern2匹配到的行结束，这中间的所有行
4、LineNumber
指定的行
5、StartLine, +N
从startLine开始，向后的N行；
Command：
d: 删除符合条件的行；
p: 显示符合条件的行；
a \string: 在指定的行后面追加新行，内容为string
\n：可以用于换行；
i \string: 在指定的行前面添加新行，内容为string；
r FILE: 将指定的文件的内容添加至符合条件的行处；
w FILE: 将地址指定的范围内的行另存至指定的文件中；
y/source/dest/：将source中的字符一一替换成dest中的字符，与tr命令类似；
s/pattern/string/修饰符: 查找并替换，默认只替换每行中第一次被模式匹配到的字符串
修饰符
g: 全局替换
i: 忽略字符大小写；
s///分隔符自由替换: s###, s@@@；


下面详细介绍Addresss和Command的具体含义，并给出示例。Address选项会涉及正则表达式，因此顺带介绍元字符和POSIX字符类。
Address：
1、LineNumber
指定的行
$：最后一行
#打印第2行：sed -n '2p' file.txt
#打印最后一行：sed -n '$p' file.txt
#打印所有行(此时LineNumber可省略)：sed -n 'p' file.txt
2、StartLine,EndLine
比如1,100
#打印1-5行：sed -n '1,5p' file.txt
#打印3-最后一行：sed -n '3,$p' file.txt
3、StartLine, +N
从startLine开始，向后的N行；
#打印第三行及之后的2行：sed -n '3,+2p' file.txt
4、FirstLine~N
从FirstLine开始，以及之后的FirstLine+n*N(n=1,2,3...)行；
#只打印偶数行：sed -n '0~2p' file.txt
#只打印奇数行：sed -n '1~2p' file.txt
(注：不要和man手册里的addr1,~N搞混了)
5、/pattern1/,/pattern2/
第一次被pattern1匹配到的行开始，至第一次被pattern2匹配到的行结束，这中间的所有行
#打印以abc开头的行和以xyz结尾的行之间的行：sed -n '/^abc/,/xyz$/p' file.txt
6、/RegExp/
正则表达式，这里只简单介绍元字符集和POSIX字符类。