Linux （三剑客之二） sed字符串替换命令详解

sed是stream editor的缩写，一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。

（1）sed的选项、命令、替换标记

通用格式：

sed  [options]  'command'  file(s)

1.[options]常用选项:

-n　　使用安静（silent）模式。在一般sed的用法中，所有来自stdin的资料一般都会被列出到屏幕，但如果加上-n参数后，则只有经过sed特殊处理的那一行（或者command）才会被列出来。
-e　　允许多点编辑。
-f　　直接将sed的动作写在一个档案内，-f filename则可以执行filename内的sed动作。
-rsed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)

-i　　直接修改读取的档案内容，而不是由屏幕输出。

2.'command'命令：注意以下命令、标记、元字符集都放在单引号内，
a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除，删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容，并替代当前模板块中的文本。
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file 写并追加模板块到file末尾。  
W file 写并追加模板块的第一行到file末尾。  
! 表示后面的命令对所有没有被选定的行发生作用。  
= 打印当前行号码。  
# 把注释扩展到下一个换行符以前。  

常用格式：
1：sed 's/原字符串/新字符串/' 文件  #只替换第一个

2：sed 's/原字符串/新字符串/g' 文件 #g表示全部替换
   sed 's/[0-9]/pp/g' test.txt  #将文件test.txt中，[0-9]表示数字的字符，全部替换成pp
   sed 's/a/001/3g' test.txt    #3g表示从第3个开始全部替换 
   
3：sed '行号c新字符串' 文件  #新字符串替换指定这一行的内容
   sed '2c new ball' test.txt       #用new ball替换(2c表示)第2行的字符内容
   
4：sed '起始行号,终止行号c新字符串' 文件
   sed '2,6c new pen' test.txt      #用new pen替换(2,6c表示)第2行到第6行的的字符内容

5：sed -e 命令1 -e 命令2 -e 命令3   #-e选项允许在同一行里执行多条命令
   sed -e 's/a/001/g' -e '2c boy' -e 's:b:002:g' test.txt #用-e在一行中输入多个替换命令

3：使用变量替换(使用双引号,注意此处是双引号)
    sed -e "s/$var1/$var2/g" filename

4：在第2行前插入文本
    sed -i '2 i\插入字符串' filename
 
5：在最后一行插入
    sed -i '$ a\插入字符串' filename

6：在匹配行前插入
    sed -i '/pattern/ i "插入字符串"' filename
    sed '/^test/i\this is a test line' file  #将 this is a test line 追加到以test开头的行前面

7：在匹配行后插入
   sed -i '/pattern/ a "插入字符串"' filename
   sed '/^test/a\this is a test line' file 将 this is a test line 追加到以test开头的行后面

8：删除文本中空行和空格组成的行以及#号注释的行
   grep -v ^# filename | sed /^[[:space:]]*$/d | sed /^$/d  
   
   其中：grep -v ^# filename 列出没有#注释符号行的所有内容
   
9：sed 组合多个表达式
sed '表达式'|sed '表达式'  等价于：sed '表达式; 表达式'

10：打印奇数行或偶数行
方法1：
sed -n 'p;n' test.txt  #奇数行
sed -n 'n;p' test.txt  #偶数行
方法2：
sed -n '1~2p' test.txt  #奇数行
sed -n '2~2p' test.txt  #偶数行   

11：已匹配字符串标记&
正则表达式“ \w\+ ”，匹配文件中每一个单词，使用 [&]或“&” 替换它，& 对应于之前所匹配到的单词：
echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]
echo this is a test line | sed 's/\w\+/"&"/g'
"this" "is" "a" "test" "line"
所有以192.168.0.1开头的行都会被替换成它自已加localhost：
sed 's/^192.168.0.1/&localhost/' file

192.168.0.1localhost：

12：删除操作：d命令
删除空白行：
sed '/^$/d' file

删除文件的第2行：
sed '2d' file

删除文件的第2行到末尾所有行：
sed '2,$d' file

删除文件最后一行：
sed '$d' file

删除文件中所有开头是test的行：
sed '/^test/'d file

1）[options]选项：
-e：-e选项允许在同一行里执行多条命令
-n：仅显示处理后的结果；
-i：替换结果到文件中


（2）sed的除了命令可单独使用，也可使用替换标记、元字符集配合一起使用
1）sed替换标记
g 表示行内全面替换。  
p 表示打印行。  
w 表示把行写入一个文件。  
x 表示互换模板块中的文本和缓冲区中的文本。  
y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）
\1 子串匹配标记
& 已匹配字符串标记

2）sed元字符集
^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。
$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。  
[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
\(..\) 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。
& 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。
\< 匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。
x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。
x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。
x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

3）sed定界符
以上命令中字符 / 在sed中作为定界符使用，也可以使用任意的定界符：一般使用/
sed 's/bbb/c/g' file
sed 's:test:TEXT:g'
sed 's|test|TEXT|g'
定界符出现在样式内部时，需要进行转义：
sed 's/\/bin/\/usr\/local\/bin/g'  #内部的/bin，需要用\对/号，进行转义