参考:https://phpmianshi.com/?id=117
1.概念
sed是一种行编辑器,它一次处理一行内容。处理时,把 当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。
2.语法
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
第一种直接在命令行中执行,第二种把命令写到了脚本中,二者无本质区别。
选项options
-e 以选项中指定的script来处理输入的文本文件; 可以同时执行多个命令,命令的执行顺序对结果有影响。 如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果 -f 以选项中指定的script文件来处理输入的文本文件; -i 直接修改读取的档案内容; -n 安静模式,仅显示处理后的结果;
命令
a\ 在当前行下面插入文本。 Na\ 表示从第几行之后开始插入,比如2a\,前面不能有匹配条件 i\ 在当前行上面插入文本。 Ni\ 表示从第几行之前开始插入,比如2i\,前面不能有匹配条件 c\ 把选定的行改为新的文本。 d 删除,删除选择的行。 D 删除模板块的第一行。 s 替换指定字符 h 拷贝模板块的内容到内存中的缓冲区。 H 追加模板块的内容到内存中的缓冲区。 g 获得内存缓冲区的内容,并替代当前模板块中的文本。 G 获得内存缓冲区的内容,并追加到当前模板块文本的后面。 l 列表不能打印字符的清单。 n 读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。 N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。 p 打印模板块的行。 P(大写) 打印模板块的第一行。 q 退出Sed。 b lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。 r file 从file中读行。 t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。 T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。 w file 写并追加模板块到file末尾。 W file 写并追加模板块的第一行到file末尾。 ! 表示后面的命令对所有没有被选定的行发生作用。 = 打印当前行号码。 # 把注释扩展到下一个换行符以前。
替换标记
g 表示行内全面替换。 Ng表示从第几个开始替换,比如2g p 表示打印行。 w 表示把行写入一个文件。 x 表示互换模板块中的文本和缓冲区中的文本。 y 表示把一个字符翻译为另外的字符(但是不用于正则表达式) \1 子串匹配标记 & 已匹配字符串标记
元字符集
^ 匹配行开始,如:/^sed/匹配所有以sed开头的行。 $ 匹配行结束,如:/sed$/匹配所有以sed结尾的行。 . 匹配一个非换行符的任意字符,如:/s.d/匹配s后接一个任意字符,最后是d。 * 匹配0个或多个字符,如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。 [] 匹配一个指定范围内的字符,如/[Ss]ed/匹配sed和Sed。 [^] 匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。 \(..\) 匹配子串,保存匹配的字符,如s/\(love\)able/\1rs,loveable被替换成lovers。 & 保存搜索字符用来替换其他字符,如s/love/**&**/,love这成**love**。 \< 匹配单词的开始,如:/\<love/匹配包含以love开头的单词的行。 \> 匹配单词的结束,如/love\>/匹配包含以love结尾的单词的行。 x\{m\} 重复字符x,m次,如:/0\{5\}/匹配包含5个0的行。 x\{m,\} 重复字符x,至少m次,如:/0\{5,\}/匹配至少有5个0的行。 x\{m,n\} 重复字符x,至少m次,不多于n次,如:/0\{5,10\}/匹配5~10个0的行。
示例
hello.txt的内容为
1 2 3
10 20 30
100 200 300
命令:a\
在匹配行的后面加入一行文本
匹配100的行,后面加入一行"new line"
sed '/100/'a\ "new line" hello.txt #从第二行开始插入新行 sed '2a\ "new line"' hello.txt
命令:i\ 其他用法跟a\类似
在匹配行的前面加入一行文本
匹配100的行,前面加入一行"new line"
sed '/100/'i\ "new line" hello.txt
命令:c\
将匹配行替换为目的行
匹配100的行,替换为"new line"
sed '/100/'c\ "new line" hello.tx
删除命令:d
删除空行
sed '/^$/d' hello.txt
删除第二行
sed '2d' hello.txt
删除文件的第2行到末尾所有行
sed '2,$d' hello.txt
替换命令:s
s/pattern-to-find/replacement-pattern/g
pattern-to-find:被替换的串
replacement-pattern:替换成这个串
g:全部替换,默认只替换匹配到的第一个
将100替换为hello
sed 's/100/hello/g' hello.txt
可以 -n 和 p结合打印变化的行
sed -n 's/100/hello/gp' hello.txt
当需要从第N处匹配开始替换时,可以使用 /Ng
sed -n 's/100/hello/2gp' hello.txt
已匹配字符串标记&
正则表达式 \w\+ 匹配每一个单词,使用 [&] 替换它,& 对应于之前所匹配到的单词:
echo this is a test line | sed 's/\w\+/[&]/g' [this] [is] [a] [test] [line]
选定行的范围:,(逗号)
由逗号分隔的两个数字表示,$符号表示最后一行;
打印hello.txt的第二行到最后一行
sed -n '2,$'p hello.txt
打印匹配test和匹配test2所确定的范围内的行:
sed -n '/test/,/test2/p' hello.txt
打印从第2行开始到第一个包含以test开始的行之间的所有行:
sed -n '2,/^test/p' hello.txt
对于匹配test和test2之间的行,每行的末尾用字符串xxx替换:
sed '/test/,/test2/s/$/xxx/' hello.txt
匹配等差数列行 n~m n+m*n 行
sed -n '1~2p' #打印奇数行 1,1+2,1+4,1+6 等(1+2n) sed -n '2~2p' #打印偶数行 2,2+2,2+4,2+6 等(1+2n)
子串匹配标记\1
# echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/' #输出 this is 7 in a number
命令中 digit 7,被替换成了 7。样式匹配到的子串是 7,\(..\) 用于匹配子串,对于匹配到的第一个子串就标记为 \1,依此类推匹配到的第二个结果就是\2
echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/' #输出 BBB aaa
多点编辑 -e
sed -e '1,5d' -e 's/test/check/' hello.txt #先删除1,5行,再执行替换
从文件读入:r命令
file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面:
sed '/test/r file' filename
下一个:n命令
如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续:
sed '/test/{ n; s/aa/bb/; }' hello.txt
变形:y命令
把1~10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令:
sed '1,10y/abcde/ABCDE/' hello.txt
打印奇数行或偶数行
方法1:
sed -n 'p;n' hello.txt #奇数行 sed -n 'n;p' hello.txt #偶数行
方法2:
sed -n '1~2p' hello.txt #奇数行 sed -n '2~2p' hello.txt #偶数行
定界符
以上命令中字符 / 在sed中作为定界符使用,也可以使用任意的定界符
定界符出现在样式内部时,需要进行转义 (\定界符)
#使用其他定界符 sed -n 's@100@hello@gp' hello.txt
引用
sed表达式可以使用单引号来引用,但是如果表达式内部包含变量字符串,就需要使用双引号。
test=hello echo hello WORLD | sed "s/$test/HELLO" HELLO WORLD