Sed文本处理工具

本章思维导图

一、Sed概述

1、Sed定义：
Sed（Stream EDitor）行编辑器，Sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲 区中，称为“模式空间”，接着用sed命令处理“模式空间”中的内容，处理完成后，默认情况下会把“模式空间”的内容 送往标准输出（这时如果“模式空间”中内容的最后一行没有换行符，会在输出的时候自动添加一个换行符 ）。然后读取 下行，执行下一个循环（如果没有使诸如‘D’的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间）， 这样不断重复相同的操作，直到文件末尾；文件的内容并没有改变，除非你使用重定向存储输出。
2、功能：
使用sed可以实现：数据的替换、删除、新增等，这里的数据可以是一些关键字，也可以是一些特定的行。
3、模式空间和保留空间：
4、grep、vim与sed相比的区别：
grep：grep是根据给定的条件来检索关键字，而sed是搜索、匹配、处理文本的工具
vim：vim是一种交互式的文本编辑工具，而sed是一种非交互式的文本编辑器，通过给定的条件自动的逐行 去处理文件
二、命令的模式：
1、编辑命令模式：
1）语法：sed [options] 'command' file(s)
2）command部分的用法：
（1）语法：[地址1] [地址2] [函数] [参数]
关键点：
command部分在编辑命令的模式下必须用单引号保护起来
一个或者两个地址是可以省略的
可以用任何目的空白或者Tab地址和函数分开
函数必须出现
依据给出的是哪个函数，标志可能是是必需的或者可选的（？）
引用shell变量时要使用双引号，而不是单引号
（2）地址定界：
数字：
#：#表示数字，指定第#行
例：sed '1d' test3.txt
表示删除test3.txt文件中的第1行
#1，#2：指定从第#1行到第#2行，以逗号分隔
例：sed '1,3d' test3.txt
表示删除test3,txt文件中的1-3行
#~i：从第#行开始，步长为i，直到结束
例：1~2：所有的奇数行
2~2：所有的偶数
#，+n：从第#行开始，一直到向下的n行后结束
正则表达式：
/pattern/：能被此模式匹配到的每一行
例1：sed '/Barry/d' test3.txt
删除test3.txt文件中包含“Barry”的行
例2：sed '/^Susan/d' test3.txt
删除test3文件中以“Susan”开头的行
/pattern1/，/pattern2/：从模式1匹配到的行开始一直到模式2匹配到的行结束，以逗号分隔
例：sed '/western/,/southeast/d'
删除包含“western的行和包含“southeast”的行之间的所有行（包含“western的行和包含“southeast”的行这两行也删除）
组合使用
#，/pattern/：从第#行开始到能被此模式能匹配到的行结束
/pattern/，#：从能被此模式能匹配到的行开始到第#行结束
  例：sed '1,/western/d' test3.txt
  删除第一行到包含“western”的行之间的所有行
特殊用法：
$：用在地址定界中表示文件的最后一行
例：sed '1,$d' test3.txt
表示删除test3.txt文件中1行到最后一行之间的所有行
!：表示取反
例：sed '1!d' test3.txt
表示删除test3.txt文件中除了第一行之外的所有行
（3）函数用法
标准用法：
插入、修改、删除
a[\]：在当前被匹配到的行的下面加入一行，支持\n实现多行追加
例1：sed '/Barry/a\hello,world' test3.txt
在当前被匹配到的行的下面加入一行“hello,world”
例2：sed '/Barry/a\hello\nworld' test3.txt
在当前被匹配到的行的下面分别加入两行，hello和world
c[\]：用新文本替换当前匹配行的文本内容，支持\n实现多行追加
  例1：sed '/Barry/c\hello,world' test3.txt
  用“hello,world”替换当前匹配到的行
例2：sed '/Barry/c\hello\nworld' test3.txt
分别用hello和world两行替换当前的行
i[\]：在当前被匹配到的行的上面加入一行，支持\n实现多行追加
例1：d '/Barry/i\hello,world' test3.txt
在当前被匹配到的行的上面加入一行“hello,world”
例2：sed '/Barry/i\hello\nworld' test3.txt
在当前被匹配到的行的上面分别加入两行，hello和world
d：删除当前匹配到的行
例：sed '/Barry/d' test3.txt
删除包含“Barry”的行
查找和替换
s：用一个字符串替换另一个字符串
s函数的语法格式：[地址1],[地址2]s<模式><替换><标志>
<模式>、<替换>、<标志>之间可以用不是换行符的其他符号作为分隔符，默认用/
<模式>：匹配到的要进行替换的关键字或者行，支持正则和扩展正则
如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环
如果是对单行进行完全匹配，一般会使用正则表达式匹配一整行)
例1：基名：echo /etc/init.d/functions | sed -r 's@.*/([^/]+/?)@\1@g'
    取/etc/init.d/functions路径的基名
例2：目录名：echo /etc/init.d/functions | sed -r 's@(/.*/)[^/]+/?@\1@g'
取/etc/init.d/functions路径的目录名
<替代>：要用来替代原有内容的字符串
在<替代>中有特殊意义的字符：
&：调用<模式>中匹配到的字符串
\#：在<模式>中使用\(\)分组之后，在<替代>中调用分组中的第#个字符串
<标志>：对替换行为要执行的一些操作
g：全文进行替换，默认只对匹配到的行的第一个匹配字符串进行替换
p：如果替换成功，打印出替换成功的行
w：如果替换成功，将替换成功的行写入一个文件
保存和取回
h：把“模式空间”中的内容拷贝一份覆盖至“保留空间”
  例：sed  '/Barry/h;$G' test3.txt 或者 sed -e '/Barry/h' -e '$G'
  把test3.txt文件中包含“Barry”的一行放置在文件的做后一行
H：把“模式空间”中的内容拷贝一份追加至“保留空间”
g：把“保持空间”的内容拷贝一份并覆盖至”模式空间“
  例：sed ‘g’ test1.txt
  将test1.txt文件中的每行内容替换为空行
G：把“保持空间”的内容拷贝一份追加至“模式空间”
  例：sed ‘G’ test1,txt
  在test1.txt文件的每行后加一个空行
x：交换 “模式空间”和“保持空间”的内容
输入和输出
p：将匹配到的行打印出来
例：sed '/1111/p
将包含1111的行打印出来
r：从文件中读取输入行
例：sed  '/1111/r test3.txt' test1.txt 
从test.txt文件中匹配到包含1111的行就读入文件test3.txt中
w：将匹配到的行写入文件
例：sed 's@1111@abcd@g;wtest4' test1.txt 
将test1,txt文件中的1111替换为abcd之后将新内容写入新文件test4中 
=：为“模式空间”中的行打印行号
例：sed 's@1111@abcd@g;=' test1.txt
将test1文件中的1111替换为abcd后，将每一行的行号打印出来，行号是在每一行内容的上方 
控制流：
!：对所匹配到的行以外的所有行执行操作
例：sed '$!N;$!D' test1.txt
仅显示test1.txt文件的最后两行
{}：组合命令
一组命令作为一个模块而被应用
函数命令之间用分号分隔
组合可以嵌套
n：读取匹配到的行的下一行覆盖至模式空间，对这一行执行命令操作，而不是对匹配到的行执行操作。
例：sed 'n;p' test1.txt
输出test1.txt文件中的奇数行
高级用法
多行输入：
N：把匹配到的行的下一行追加至模式空间中，并与在模式空间中的第一行（即匹配到的行）共同创建一个多行模式空间。
   第一行与第二行之间会生成一个换行符。
   sed将第一行与第二行共同看作一个有很多嵌入行的整行，并会对整行执行后面的操作。
   与n函数相比，n函数在于它输出模式空间内容，然后读取新行，并不建立多行模式空间。
例：sed 'N;s@\n@\t@g' test1.txt
将文件test1.txt文件中的的n和n+1行合并为一行，中间用Tab分隔（n为奇数行）。
D：如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使用合成的模式空间重新启动循 环。
   如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环
例：sed 'N;D'  test.txt
仅显示test1.txt文件的最后一行
P：多行Print和print稍有不同。它输出多行模式空间的第一部分，直到第一个嵌入的换行符。
因此，当默认输出被抑制或脚本的控制流更改，以至于不能到达脚本底部的时候，需要使用打印命令P或者p。Print命令经常出现在Next和Delete命令之前。这三个命令能够建立一个输入输出循环，用来维护两行的模式空间，但是一次只输出一行，然后返回到脚本的顶端将所有命令应用于模式空间的第二行。没这个循环，当执行到脚本的最后一个命令的时候，模式空间这两行将被输出。
多个函数中综合使用：在多个函数连续使用的时候，在各个函数之间需要加上分号
3）options（命令行选项）
-n：不输出所有默认输出的行，只输出p函数或者在s函数后p标志所指定的行
-e：允许多项编辑
例：sed -e '1,3d' -e 's/western/southeast/'
多个命令均在模式空间的当前行上执行
命令的顺序会影响结果
-i：直接修改目标文件
例：sed .orig 's/Barry/Zhanghan' test3（？）
-f 下一个参数为sed脚本的脚本名，后面再跟上的参数才是要处理的文件名，sed脚本中是一行一个的sed编辑命令
例：sed -f Test1.sh test3.txt
-r：支持扩展正则
2、脚本模式：
1）语法：sed [options] -f scriptfile file(s)
2）sed script的规则：
（1）脚本的实质是一个sed命令的清单
（2）在命令的末尾不能有任何空白或者文本
（3）如果在一行中有多个命令要用分号分隔
（4）不需要且不能用引号保护命令
（5）对以#开头的注释行不能进行跨行（？）
脚本实例：
Test1,sh
#!/bin/bash
/western/,/southeast/{
/^[[:space:]]*$/d
/Susan/{h;d}
}
/Ann/g
s/TB\(Savage\)/hahaha \1/