马上要停更一周之sed文本处理工具

一、sed编辑器

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。

sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

1.1 sed的工作流程

1、读取： sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间， pattern space)

2、执行：默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。

3、显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

1.2 命令格式

sed -e '操作' 文件1 文件2 ...  就是普通的命令，但如果和下面的-n（其他的选项）一起使用时，不能省略

sed -n-e '操作' 文件1 文件2..        不会输出结果

sed -f 脚本文件 文件1 文件2...     执行命令在脚本文件里，对后面的文件1、2...内容进行处理

sed -i -e '操作' 文件1 文件2...     会对文本进行直接的修改

sed -e 'n{

操作1

操作2
...
}' 文件1 文件2...

1.3 常用选项

-e或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用

-f或--file=：表示用指定的脚本文件来处理输入的文本文件。

-h或--help：显示帮助。

-n，--quiet或silent：禁止sed编辑器输出，但可以与p命令一起使用完成输出。

-i：直接修改目标文本文件。

1.4 常用操作

s：替换，替换指定字符。

d：删除，删除选定的行。

a：增加，在当前行下面增加一行指定内容。

i：插入，在选定行上面插入一行指定内容。

c：替换，将选定行替换为指定内容。

y：字符转换，转换前后的字符长度必须相同。

p：打印，如果同时指定行，表示打印指定行：如果不指定行，则表示打印所有内容;如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用。

=：打印行号。

l (小写L)：打印数据流中的文本和不可打印的ASCIl字符(比如结束符$、制表符\t)

二、sed编辑器的使用方法

2.1 使用地址

2.1.1 sed编辑器有2种寻址方式

1、以数字形式表示行区间
2、用文本模式来过滤出行

sed -n '1p' sed.txt        仅输出第一行内容

sed -n '$p' sed.txt     仅输出最后一行内容

sed -n '1,3p' sed.txt   打印1-3行内容

sed -n '1,+3p' sed.txt    打印1-4行内容（第一行和后面连续的3行）

sed '5q' sed.txt

sed -n 'p;n' sed.txt    打印奇数行，n表示移动到下一行

sed -n 'n;p' sed.txt    打印偶数行

sed -n '/user/p' /etc/passwd    打印含有user字符串的行    区分大小写的

sed -n '/^a/p' /etc/passwd    打印以a开头的行

sed -n '/bash$/p' /etc/passwd      打印/etc/passwd中以bash结尾的内容

sed -n '/ftp\|root/p' /etc/passwd     
打印含有ftp或者root的内容   
\是为了让|赋有意义，|或者的意思

sed -n '2,/nobody/p' /etc/passwd       打印第二行到流水遇到的第一个nobody

sed -n '2,/nobody/=' /etc/passwd     = 表示输出行号，不打印内容

sed -n '2,/nobody/=;p' /etc/passwd     2-nobody输出行号，p打印所有内容

sed -nr '/ro{1,}t/p' /etc/passwd    -r 表示支持正则表达式
ro{1,}表示前面的子表达式o不少于1个，所以可以是rot、root、rooot、ro...t

2.2 替换

行范围   s/旧字符串/新字符串/替换标记

2.2.1 替换标记

数字：表明新字符串将替换第几处匹配的地方

g：表明新字符串将会替换所有匹配的地方

p：打印与替换命令匹配的行，与-n一起使用

w 文件：将替换的结果写到文件中

sed -n 's/root/admin/p' /etc/passwd     将root替换成admin   只替换遇到的第一个字符串

sed -n 's/root/admin/2p' /etc/passwd     将流水遇到的第2个root替换成admin

sed -n 's/root/admin/gp' /etc/passwd      将所有的root都替换成admin

sed 's/root//g' /etc/passwd        将所有的root替换成空格，g表示所有

sed '1,20 s/^/#/' /etc/passwd     1-20行在每行开头加入#

sed  '/^root/ s/$/#/' /etc/passwd      查找以root开头的行，在末尾添加#
sed -n '/^root/ s/$/#/p' /etc/passwd     相比上面的不会打印多余的内容，只打印修改的

sed -f scripts.sed sed.txt     用指定的脚本文件处理输入的文本文件
scripts.sed 脚本文件
sed.txt  文本文件

sed '1,20w out.txt' /etc/passwd    将查找的1-20行直接输出到文本文件里

sed '1,20 s/^/#/w out.txt' /etc/passwd    将文件out.txt -1-20行的开头加上#

sed -n 's/\/bin\/bash/\/bin\/csh/p' /etc/passwd    将/bin/bash替换成/bin/csh  
这边的\是转义字符，为了使/具有符号意义
sed -n 's/ (\/bin\/bash) / (\/bin\/csh) /p' /etc/passwd    

sed -n 's!/bin/bash!/bin/csh!p' /etc/passwd   使用转义字符作为字符串分隔符

2.3 删除标记

sed 'd' sed.txt        全部删除
sed '3d' sed.txt       删除第3行
sed '2,4d' sed.txt     删除2-4行
sed '$d' sed.txt       删除最后一行 
sed '/^$/d' testfile   删除空行

sed '/nologin$/d' /etc/passwd      删除以nologin结尾的行
sed '/nologin$/!d' /etc/passwd     删除 不 以nologin结尾的行

sed '/2/,/3/d' sed.txt      删除字符2所在行到字符3所在行之间的所有行
第1个字符打开删除服务，第2个字符关闭删除服务

sed '/3/,/7/d' sed.txt      同上

2.4 插入标记

sed '/45/c ABC' sed.txt    将45替换成ABC 

sed '/45/ y/45/AB/' sed.txt     在字符45所在的行，将45替换成AB，前后长度要一致

sed '1,3a ABC' sed.txt     1-3行每行下面都添加ABC   a表示在指定行下面插入

sed '1i ABC' sed.txt     在第1行前插入ABC  i表示在指定行上面插入

sed '5r /etc/sed1.txt' sed.txt    在第5行后面插入/etc/sed1.txt文本文件中的内容

sed '/root/{H;d};$G' /etc/passwd     将含有root字符串的行剪切并粘贴至行尾
H表示复制指定内容；d表示删除指定内容；{H；d}表示剪切
G表示粘贴到指定行后

sed '1,2H;3,4G' sed.txt    在第3 行、第4行后面都复制插入1-2行