Linux命令 之 sed（二）

Sed是一个非交互性上下文编辑器，它被设计用来在以下环境中发挥作用：

1.    可以直接操作或编辑那些对常规编辑器而言太大的文件。相信很多人都有过打打开一个大文件会拖死你的电脑的情况；

2.    编辑命令太复杂（windows上貌似不存在这种情况，用命令行的linux就难说了）很难以在交互模式下编辑文件；

3.    要在对输入的一趟扫描中有效的进行多个‘全局’(global)编辑函数

在开始介绍sed的控制符与语法之前，先概述几个概念：

• 四个空间：input stream, pattern buffer, output stream 和 hold buffer
• 基本操作过程：将 input stream 的当前行放入 pattern buffer, 然后 input stream 的指针指向下一行 ;对 pattern buffer 中的行进行处理 ;将上面的处理结果放入 output stream. 然后循环这个过程 .
• hold buffer 是另一个空间 , 可以通过命令和 pattern buffer 进行交互 .

Sed命令介绍：

一、 基本命令：字符串替换’s’

1.    基本用法
    e.g.  sed ‘s/day/night/’ <old >new
    该例子将文件 old 中的每一行第一次出现的 day 替换成 night, 将结果输出到文件 new
    对上述例子的说明：

    s   表示替换命令 
    /../../ 分割符 (Delimiter)，第一个/../表示要搜索的字符或正则表达式，也就是上面例子中的’day’；
    第二个/../表示要用来替换的字符串，也就是上面例子中的’night’

    注意，与正则表达式的界定符类似，也可以采用其它符号作为s命令分割符。不论什么字符，紧跟着s命令的都被认为是分隔符，如 sed ’s#aaa#bbb#g’，即采用#作为分割符。

2.    用 & 表示匹配的字符串
    有时可能会想在匹配到的字符串周围或附近加上一些其它的字符,那么可以像下面这样来操作：
    sed ‘s/abc/(abc)/’ <old >new
    该例子从old文件中读取字符，在找到的 abc 前后加上括号，然后协会到文件new。该例子还可以写成
    sed ‘s/abc/(&)/’ <old >new     #效果和上面的一样
    下面是更复杂的例子 :
    sed ‘s/[a-z]*/(&)/’ <old >new
    sed ‘s/[0-9]*/& &/’ <old >new

3.    用 /1, /2, …, /9 来表示匹配的字符串
   先看个例子：
   sed ‘s//([a-z]*/)[0-9]*//1/’ <old >new      #本例中 /1 就是指前面的 /([a-z]*/)
   #如果在old文件中有内容：abc123 abc123那么在new文件中将会是:abc abc

   /1, /2, …, /9 也可以出现在搜索字符串中，例如：
   sed ‘s//([a-z]*/) /1//1/’ <old >new    #本例可以去除重复的由字母组成的词
4.   替换选项
  4.1  /g 替换所有的
      sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有出现的地方, 例如:
      sed ‘s//([^ ]*/)/(&)/g’ <old >new
  4.2  用 /1, /2, … 来表明替换哪一次出现
      sed ‘s/[^ ]*//2′ <old >new     #替换搜索到的第二次出现，可以从 /1 用到 /512
  4.3  /p print 选项
      当 sed 命令有 -n 选项时 , 该命令没有输出，例如，
      sed -n ‘s//([a-z]*/)[0-9]*//1/’ <old     #如果old中包含内容：abc123，如果没有-n选项，则输出abc；有-n则不输出
      但是如果-n 配合 /p 选项后, 如果该行确实发生了替换 , 则输出该行, 否则不输出。
  4.4 ‘/w filename’ 输出写到文件 filename 中
      sed ‘s//([0-9]*/) /([a-z]*/)//2/w new’ <old
      该例子把输出放入文件 new 中

5.   替换和插入换行符号
   替换 (echo a;echo x;echo y) | sed ‘/x$/ {
   N
   s:x/n:x:
   }’
   上面的脚本输出：
   a
   xy
   插入 
   (echo a;echo x;echo y) | sed ‘s:x:X/
   :’
   这条语句结果为：
   a
   x y

   sed ‘s//([^ ]*/)/(&)/g’ <old >newsed ‘s//([^ ]*/)/(&)/g’ <old >new

二、只对特定行的处理

1.    通过行号限定

   sed ‘3 s/[0-9][0-9]*//’ <old >new   只处理第 3 行

   sed ’1,100 s/A/a/’ <old >new       只处理 1 到 100 行
   sed ’101,$ s/A/a/’ <old >new       处理 101 到文件的最后一行
   sed ’101,$ !s/A/a/’ <old >new       这里 ! 表示只对 1 到 100 行进行替换 ,! 的作用是取反

2.   通过正规表达式限定

   sed ‘/start/,/stop/ s/#.*//’ <old >new
   本例中 ,sed 先找到有 start 的行作为开始 , 找到最近的有 stop 的行作为结束 , 对之间的行进行操作，重复上述过程 ,直到文件结束。

   下面这个例子是行号和正规表达式配合来限定：
   sed ’1,/start/ s/#.*//’ <old >new      对第 1 行到含有 start 的行进行处理

三、其他的简单命令

1.    删除命令 d
    sed ’11,$ d’ <old >new       删除从 11 行到文件末尾
    sed ‘/^#/ d’ <old >new         删除所有以 # 开始的行

2.    print 命令 p (注意 与上面提到的和 s 命令结合使用的 /p 选项的区别)
    sed ‘p’ <old       每一行将会被输出两次 
    sed -n ‘p’ <old       每一行将会输出一次 (-n 屏蔽掉一次 )
    sed ‘/^$/ p’ <old      只对空行输出两次 , 其他只输出一次 
    sed -n ’1,10 p’ <old       输出前 10 行 
    sed -n ‘/match/ p’ <old     输出含有 match 的行

3.    quit 命令 q
    sed ’11 q’<old      输出前 10 行 ( 在第 11 行退出 )
    注意 :q 命令不能接收多行 , 例如：sed ’2,5 q’<old     是不正确的

4.    写入文件命令 w  filename( 注意与 s 命令的 /w 选项的区别 )
    sed -n ‘/^[0-9]*[02468]/ w even’ <old     将以偶数开始的行写入文件 even

5.    输出行号命令 =
    sed -n ‘/PATTERN/ =’ <old     遇到含有 PATTERN 的行时 , 同时输出行号

6.   追加 , 改变 , 插入新行

  追加命令 a
    #!/bin/sh
    sed ‘
    /WORD/ a/
    Add this line after every line with WORD
    ‘
  改变命令 c
    #!/bin/sh
    sed ‘
    /WORD/ c/
    Replace the current line with the line
    ‘
  插入命令 i
    #!/bin/sh
    sed ‘
    /WORD/ i/
    Add this line before every line with WORD
    ‘

7.    变换命令 y
    sed ‘y/abcdef/ABCDEF/’ <old      该例将字符 abcdef 分别变成大写

8.    将本行的控制符也显示出来的命令  l
    sed ’1,10 l’ <old

9.    d 命令和 D 命令
    d 命令删除 pattern buffer 中的内容进入下一次操作循环 
    D 命令删除 pattern buffer 中第一个换行符之前的内容进入下一次操作循环 , 如果 pattern buffer 中还有内容, 则不用从 input stream 中读入。

10.  p 命令和 P 命令
    p 命令输出 pattern buffer 中的内容 
    P 命令输出 pattern buffer 中第一个换行符之前的内容

11.  n 命令和 N 命令
    n 命令把下一行读入 pattern buffer 中 ( 如果没用 -n 选项 , 将原来行输出 )
    N 命令把下一行追加到 pattern buffer 中

12.  流程控制命令
    b label 命令 : 在指定行跳到 label
    t label 命令 : 如果在某行发生了替换 , 跳到 label
    T label 命令 : 如果在某行没有发生了替换 , 跳到 label

四、调用 sed 时的参数

1.    -e script    执行 script 这个脚本
    e.g.  sed -e ‘s/a/A/’ -e ‘s/b/B/’ <old >new
    对每一行分别执行 ‘s/a/A/’ 和 ‘s/b/B/’

2.    -n    禁止输出
    这里的 -n 与前面的 /p 配合 , 可以只输出被修改了的行

3.   -f scriptname 
    把 scriptname 文件中的 sed 命令加入本次 sed 的调用中 
   e.g. sed -f sedscript <old >new
    sedscript 的内容可能是这样的:
    # sed comment – This script changes lower case vowels to upper case
    s/a/A/g
    s/e/E/g
    s/i/I/g
    s/o/O/g
    s/u/U/g

五、Hold Buffer
    x 命令 : 将 pattern buffer 放入 hold buffer, 而将 hold buffer 的内容输出 , pattern buffer 的内容变成下一行 
    h 命令 : 将 pattern buffer 放入 hold buffer, 并将 pattern buffer 的内容输出, pattern buffer 的内容变成下一行 
    H 命令 : 将 pattern buffer 追加到 hold buffer
    g 和 G 命令 :g 用 hold buffer 的内容替换 pattern buffer 的内容 , 而 G 将 hold buffer 内容追加到 pattern buffer

 更多参考，http://sed.sourceforge.net/sed1line_zh-CN.html