sed介绍
流编辑器,过滤和替换文本。
工作原理:sed 命令将当前处理的行读入模式空间进行处理,处理完把结果输出,并清空模式空间。然后再将下一行读入模式空间进行处理输出,以此类推,直到最后一行。这个流程理解起来非常困难,我认为这是三剑客最难理解的。
Usage: sed [OPTION]... {script-only-if-no-other-script} [input-file]...
sed [选项] '地址 命令' file
选项 | 描述 |
---|---|
-n | 不打印模式空间 |
-e | 执行脚本、表达式来处理 |
-f | 脚本文件的内容添加到命令被执行 |
-i | 修改原文件 |
-r | 使用扩展正则表达式 |
命令 | 描述 |
---|---|
s/regexp/replacement/ | 替换字符串 |
p | 打印当前模式空间 |
P | 打印模式空间的第一行 |
d | 删除模式空间,开始下一个循环 |
D | 删除模式空间的第一行,开始下一个循环 |
= | 打印当前行号 |
a \text | 当前行追加文本 |
i \text | 当前行上面插入文本 |
c \text | 所选行替换新文本 |
q | 立即退出 sed 脚本 |
r | 追加文本来自文件 |
: label | label 为 b 和 t 命令 |
b label | 分支到脚本中带有标签的位置,如果分支不存在则分支到脚本的末尾 |
t label | 如果 s///是一个成功的替换,才跳转到标签 |
h H | 复制/追加模式空间到保持空间 |
g G | 复制/追加保持空间到模式空间 |
x | 交换模式空间和保持空间内容 |
l | 列出当前行在 |
n N | 读取/追加下一行输入到模式空间 |
w filename | 写入当前模式空间到文件 |
& | 引用已匹配字符串 |
地址 | 描述 |
first~step | 步长,每 step 行,从第 first 开始 |
$ | 匹配最后一行 |
/regexp/ | 正则表达式匹配行 |
number | 只匹配指定行 |
addr1,addr2 | 开始匹配 addr1 行开始,直接 addr2 行结束 |
addr1,+N | 从 addr1 行开始,向后的 N 行 |
addr1,~N | 从 addr1 行开始,到 N 行结束 |
$p | 打印最后一行 |
操作文件
-
[root@bigdata-sg-a-
07]
# tail /etc/services
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
示例
匹配打印(p)
打印匹配 blp5 开头的行
根据上边那个"sed [选项] '地址 命令' file"的使用方式,-n为选项,这里没有用到地址,默认就是每行读入模式空间,然后在模式空间中执行的命令为"/^blp5/"
正则匹配模式空间中的内容时候能匹配到"^blp5"
,然后通过p打印当前模式空间
-
[root@bigdata-sg-a-
07]
# tail
/etc/services |sed -n
'/^blp5/p'
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
如果不加-n选项,就会把所有读入模式空间的内容也输出一下,可以看一下
-
[root@bigdata-sg-a-
07]
# tail /etc/services |sed '/^blp5/p'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
可以看到'blp5 48129/tcp # Bloomberg locator'连续打印了两次,一次是模式空间中的,一次是通过p命令输出的。 我们可以通过sedsed来看一下这个流程
-
[root
@bigdata-sg-a-
07]
# tail /etc/services |./sedsed -d -n '/^blp5/p'
-
PATT
:nimgtw
48003/udp
# Nimbus Gateway$
-
HOLD
:
$
-
COMM
:/^blp5/ p
-
PATT
:nimgtw
48003/udp
# Nimbus Gateway$
-
HOLD
:
$
-
省略部分
-
PATT
:blp5
48129/udp
# Bloomberg locator$
-
HOLD
:
$
-
COMM
:/^blp5/ p
-
blp5
48129/udp
# Bloomberg locator
-
PATT
:blp5
48129/udp
# Bloomberg locator$
-
HOLD
:
$
-
省略部分
nimgtw 48003/udp # Nimbus Gateway$
模式空间在读入执行"/^blp5/ p"匹配并输出并没有什么结果 而blp5 48129/udp # Bloomberg locator$
模式空间在读入执行"/^blp5/ p"匹配并输出后输出了blp5 48129/udp # Bloomberg locator
sedsed是用于sed命令debug的好工具,通过python编写,主页在http://sedsed.sourceforge.net 我们这边只说明-d参数的debug模式,还有indent、htmlize、tokenize等。
PATT:代表 读入新的一行时模式空间中的内容 HOLD:代表 读入新的一行时保持空间中的内容 COMM: 表示将要执行的命令 执行结果,这一行在执行完成后如果有就显示,如果没有就直接显示PATT PATT:代表 执行完命令后模式空间中的内容 HOLD:代表 执行完命令后保持空间中的内容
后边设计新的选项,地址和命令会继续通过这种方式来分析。
打印第一行
1为number,指匹配第一行
-
[root@bigdata-sg-a-
07]
# tail
/etc/services |sed -n
'1p'
-
nimgtw
48003/udp
# Nimbus Gateway
打印第一行至第三行
1,3为addr1,addr2,代表第一行到第三行
-
[root@bigdata-sg-a-
07]
# tail
/etc/services |sed -n
'1,3p'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
#
3
GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
打印奇数行
1~2为first~step,从第一行开始,步长为2
-
[root@bigdata-sg-a-
07 ~]
# seq
10
|sed -n
'1~2p'
-
1
-
3
-
5
-
7
-
9
打印匹配行及后一行
-
[root@bigdata-sg-a-
07 ~]
# tail
/etc/services |sed -n
'/nimgtw/,+1p'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
#
3
GPP Cell Broadcast Service Protocol
打印最后一行
-
[root
@bigdata-sg-a-
07 ~]
# tail /etc/services |sed -n
'$p'
-
iq
object 48619/udp # iqobject
不打印最后一行
感叹号也就是对后面的命令取反
-
[root@bigdata-sg-a-
07 ~]
# tail /etc/services |sed -n '$!p'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
匹配范围,以逗号分开两个样式选择某个范围
-
[root@bigdata-sg-a-
07 ~]
# tail
/etc/services |sed -n
'/^blp5/,/^com/p'
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com
-bardac-dw
引用系统变量
-
[root
@bigdata-sg-a-
07 ~]
# a=1
-
[root
@bigdata-sg-a-
07 ~]
# tail /etc/services |sed -n "$a,3p"
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
匹配删除(d)
删除与打印使用方法类似,可以理解是打印的取反,不用-n选项。
删除匹配行内容
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed '/blp5/d'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
删除匹配行内容
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed '1d'
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
替换(s///)
替换blp5为liulei
-
[root@
bigdata-sg-a-07
~]
# tail
/etc/services |sed
's/blp5/liulei/'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
#
3
GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
liulei
48129/tcp
# Bloomberg locator
-
liulei
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com
-bardac-dw
-
com-bardac-dw
48556/udp
# com
-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
-
全局替换
-
[root@bigdata-sg-a-
07 ~]
# tail
/etc/services |sed
's/blp5/liulei/g'
替换开头是 blp5 的字符串并打印
-
[root@
bigdata-sg-a-07
~]
# tail
/etc/services |sed -n
's/^blp5/liulei/p'
-
liulei
48129/tcp
# Bloomberg locator
-
liulei
48129/udp
# Bloomberg locator
引用匹配内容并替换(&)
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed 's/48049/&.0/'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049.0/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
IP加单引号
-
[
root@
bigdata-sg-a-07
~]
# echo
'10.10.10.1 10.10.10.2 10.10.10.3' |sed -r
's/[^ ]+/"&"/g'
-
"10.10.10.1"
"10.10.10.2"
"10.10.10.3"
指定多行替换
-
[root@
bigdata-sg-a-07
~
# tail /etc/services | sed '1,5s/48/bigdata-sg-a-07/'
-
nimgtw bigdata-sg
-a-07003/udp
# Nimbus Gateway
-
3gpp-cbsp bigdata-sg
-a-07049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv bigdata-sg
-a-07128/tcp
# Image Systems Network Services
-
isnetserv bigdata-sg
-a-07128/udp
# Image Systems Network Services
-
blp5 bigdata-sg
-a-07129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
二次匹配替换
分组使用,在每个字符串后面添加第二组字符串后添加lei
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed 's/blp5/lei/;s/nimgtw/wanghongyu/'
-
wanghongyu
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
lei
48129/tcp
# Bloomberg locator
-
lei
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
分组替换
将不变的字符串匹配分组,剩余就是要替换的,再反向引用
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed -r 's/(.*) (.*)(#.*)/\1\2lei \3/'
-
nimgtw
48003/udp
lei
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
lei
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
lei
# Image Systems Network Services
-
isnetserv
48128/udp
lei
# Image Systems Network Services
-
blp5
48129/tcp
lei
# Bloomberg locator
-
blp5
48129/udp
lei
# Bloomberg locator
-
com-bardac-dw
48556/tcp
lei
# com-bardac-dw
-
com-bardac-dw
48556/udp
lei
# com-bardac-dw
-
iqobject
48619/tcp
lei
# iqobject
-
iqobject
48619/udp
lei
# iqobject
将协议与端口号位置调换
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'
-
nimgtw udp/
48003
# Nimbus Gateway
-
3gpp-cbsp tcp/
48049
# 3GPP Cell Broadcast Service Protocol
-
isnetserv tcp/
48128
# Image Systems Network Services
-
isnetserv udp/
48128
# Image Systems Network Services
-
blp5 tcp/
48129
# Bloomberg locator
-
blp5 udp/
48129
# Bloomberg locator
-
com-bardac-dw tcp/
48556
# com-bardac-dw
-
com-bardac-dw udp/
48556
# com-bardac-dw
-
iqobject tcp/
48619
# iqobject
-
iqobject udp/
48619
# iqobject
位置调换
-
[
root@
bigdata-sg-a-07
~]
# echo
"abc:cde;123:456" |sed -r
's/([^:]+)(;.*:)([^:]+$)/\3\2\1/'
-
abc:
456;
123:cde
去除空格 http.conf 文件空行或开头#号的行
[root@bigdata-sg-a-07 ~]# sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf
注释匹配行后的多少行
-
[root@
bigdata-sg-a-07
~]
# seq
10
|sed
'/5/,+3s/^/#/'
-
1
-
2
-
3
-
4
-
#5
-
#6
-
#7
-
#8
-
9
-
10
多重编辑(-e)
删除前两行,替换blp5为lei
-
[root@
bigdata-sg-a-07
~]
# tail
/etc/services |sed -e
'1,2d'
-e
's/blp5/lei/'
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
lei
48129/tcp
# Bloomberg locator
-
lei
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com
-bardac-dw
-
com-bardac-dw
48556/udp
# com
-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
添加新的内容(i,a,c)
在指定行上一行添加一行
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed '2i \lei'
-
nimgtw
48003/udp
# Nimbus Gateway
-
lei
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
在指定行下一行添加一行
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed '2a \lei'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
lei
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
替换指定行的内容
-
[root@
bigdata-sg-a-07
~]
# tail /etc/services |sed '/blp5/c \lei'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
lei
-
lei
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
在指定行前面和后面添加一行
-
[root@
bigdata-sg-a-07
~]
# seq
5
|sed
'3s/.*/txt\n&/'
-
1
-
2
-
txt
-
3
-
4
-
5
-
[root@
bigdata-sg-a-07
~]
# seq
5
|sed
'3s/.*/&\ntxt/'
-
1
-
2
-
3
-
txt
-
4
-
5
-
[root@
bigdata-sg-a-07
~]
# seq
5
|sed
'3s/.*/txt\n&\ntxt/'
-
1
-
2
-
txt
-
3
-
txt
-
4
-
5
读取文件并追加到匹配行后(r)
-
[root@
bigdata-sg-a-07
~]
# cat b
-
dd=(a b c e)
-
[root@lei ~]
# tail /etc/services |sed '/blp5/r b'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
dd=(a b c e)
-
blp5
48129/udp
# Bloomberg locator
-
dd=(a b c e)
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
将匹配行写到文件(w)
-
[root
@
bigdata-sg-a-07
~]
# tail /etc/services |sed '/blp5/w c'
-
nimgtw
48003/udp
# Nimbus Gateway
-
3gpp-cbsp
48049/tcp
# 3GPP Cell Broadcast Service Protocol
-
isnetserv
48128/tcp
# Image Systems Network Services
-
isnetserv
48128/udp
# Image Systems Network Services
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
-
com-bardac-dw
48556/tcp
# com-bardac-dw
-
com-bardac-dw
48556/udp
# com-bardac-dw
-
iqobject
48619/tcp
# iqobject
-
iqobject
48619/udp
# iqobject
-
[root
@bigdata-sg-a-
07 ~]
# cat c
-
blp5
48129/tcp
# Bloomberg locator
-
blp5
48129/udp
# Bloomberg locator
读取下一行
n 命令的作用是读取下一行到模式空间。 N 命令的作用是追加下一行内容到模式空间,并以换行符\n 分隔。
打印匹配行的下一行
-
[root@
bigdata-sg-a-07
~]
# seq
5
| sed -n
'/3/{n;p}'
-
4
sedsed debug
-
[root
@
bigdata-sg-a-07
~]
# seq 6 |./sedsed -d -n '/3/{n;p}'
-
PATT
:
1
$
-
HOLD
:
$
-
COMM
:/
3/ {
-
PATT
:
1
$
-
HOLD
:
$
-
省略部分
-
PATT
:
3
$
-
HOLD
:
$
-
COMM
:/
3/ {
-
COMM
:n
-
PATT
:
4
$
-
HOLD
:
$
-
COMM
:p
-
4
-
PATT
:
4
$
-
HOLD
:
$
-
COMM
:}
-
PATT
:
4
$
-
HOLD
:
$
-
PATT
:
5
$
-
HOLD
:
$
-
COMM
:/
3/ {
-
PATT
:
5
$
-
HOLD
:
$
-
可以看到模式空间先读入第一行1,进行/3/匹配,没有匹配成功,模式空间依然为1,但是当模式空间读入第三行3的时候,进行/3/匹配,匹配成功执行,执行n命令,模式空间把下一行4进行读入,然后执行p,输出模式空间,然后模式空间直接去读取第五行,而不会重新读第四行。
打印偶数
-
[root
@
bigdata-sg-a-07
~]
# seq 6 | sed -n 'n;p'
-
2
-
4
-
6
-
-
[root
@
bigdata-sg-a-07
~]
# seq 6 |./sedsed -d -n 'n;p'
-
PATT
:
1
$
-
HOLD
:
$
-
COMM
:n
-
PATT
:
2
$
-
HOLD
:
$
-
COMM
:p
-
2
-
PATT
:
2
$
-
HOLD
:
$
-
PATT
:
3
$
-
HOLD
:
$
-
COMM
:n
-
PATT
:
4
$
-
HOLD
:
$
-
COMM
:p
-
4
-
PATT
:
4
$
-
HOLD
:
$
-
PATT
:
5
$
-
HOLD
:
$
-
COMM
:n
-
PATT
:
6
$
-
HOLD
:
$
-
COMM
:p
-
6
-
PATT
:
6
$
-
HOLD
:
$
-
这个就看的更清楚了一些,模式空间读入第一行1,然后执行n命令模式空间读取下一行,此时的模式空间为2,然后执行p命令输出模式空间,然后就在模式空间顺序的读后一行第三行3循环上述步骤
打印奇数
-
[root
@
bigdata-sg-a-07
~]
# seq 6 |sed 'n;d'
-
1
-
3
-
5
-
-
[root
@
bigdata-sg-a-07
~]
# seq 6 |./sedsed -d 'n;d'
-
PATT
:
1
$
-
HOLD
:
$
-
COMM
:n
-
1
-
PATT
:
2
$
-
HOLD
:
$
-
COMM
:d
-
PATT
:
3
$
-
HOLD
:
$
-
COMM
:n
-
3
-
PATT
:
4
$
-
HOLD
:
$
-
COMM
:d
-
PATT
:
5
$
-
HOLD
:
$
-
COMM
:n
-
5
-
PATT
:
6
$
-
HOLD
:
$
-
COMM
:d
先读取第一行 1,此时模式空间是1,并打印模式空间1,执行n命令,获取下一行2,执行d命令,删除模式空间的2,sed再读取3,此时模式空间是3,并打印模式空间,再执行n命令,获 取下一行4,执行d命令,删除模式空间的3,以此类推。
每三行执行一次 p 命令
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
'n;n;p'
-
1
-
2
-
3
-
3
-
4
-
5
-
6
-
6
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed -n
'n;n;p'
-
3
-
6
每三行替换一次
-
[
root@
bigdata-sg-a-07
~]
# seq 6 |sed 'n;n;s/^/=/;s/$/=/'
-
1
-
2
-
=
3=
-
4
-
5
-
=
6=
-
[
root@
bigdata-sg-a-07
~]
# seq 6 |sed '3~3{s/^/=/;s/$/=/}'
-
1
-
2
-
=
3=
-
4
-
5
-
=
6=
-
当执行多个 sed 命令时,有时相互会产生影响,我们可以用大括号{}把他们括起来。
再看下 N 命令的功能
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
'N;q'
-
1
-
2
将两行合并一行
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
'N;s/\n//'
-
12
-
34
-
56
执行N命令后,此时模式空间是1\n2,再执行把\n替换为空,此时模式空间是12并打印,然后循环进行
-
[root@
bigdata-sg-a-07
~]
# seq
5
|sed -n
'N;p'
-
1
-
2
-
3
-
4
-
[root@bigdata-sg-a-
07 ~]
# seq
6
|sed -n
'N;p'
-
1
-
2
-
3
-
4
-
5
-
6
因为N命令是读取下一行追加到sed读取的当前行,当N读取下一行没有内容时,则退出,也不会执行 p 命令打印当前行。 当行数为偶数时,N 始终就能读到下一行,所以也会执行p命令。
打印奇数行数时的最后一行
-
[root@
bigdata-sg-a-07
~]
# seq
5
|sed -n
'$!N;p'
-
1
-
2
-
3
-
4
-
5
简单一点就是一个判断,$代表最后一行,然后!不执行N命令,然后直接p输出,其他行还是执行N;p
打印和删除模式空间第一行(P,D)
P 命令作用是打印模式空间的第一行。 D 命令作用是删除模式空间的第一行。
打印奇数
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed -n
'N;P'
-
1
-
3
-
5
保留最后一行
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
'N;D'
-
6
N命令执行后,模式空间是1\n2,执行D命令删除1\n2。再执行N命令,模式空间是 3\n4,执行D命令删除3\n4,以此类推,sed 执行最后一行打印,而N获取不到则退出 这一点我还是没想明白
保持空间操作(h和H,g和G,x)
h 命令作用是复制模式空间内容到保持空间(覆盖)。 H 命令作用是复制模式空间内容追加到保持空间。 g 命令作用是复制保持空间内容到模式空间(覆盖)。 G 命令作用是复制保持空间内容追加到模式空间。 x 命令作用是模式空间与保持空间内容互换。
将匹配的内容覆盖到另一个匹配
-
[
root@
bigdata-sg-a-07
~]
# seq
6 | sed -e
'/3/{h;d}' -e
'/5/g'
-
1
-
2
-
4
-
3
-
6
h命令把匹配的3复制到保持空间,d命令删除模式空间的3。后面命令再对模式空间匹配5,并用g命令把保持空间3覆盖模式空间5。
将匹配的内容放到最后
-
[
root@
bigdata-sg-a-07
~]
# seq
6 | sed -e
'/3/{h;d}' -e
'$G'
-
1
-
2
-
4
-
5
-
6
-
3
交换模式空间和保持空间
-
[root
@
bigdata-sg-a-07
~]
# seq 6 |sed -e '/3/{h;d}' -e '/5/x' -e '$G
-
1
-
2
-
4
-
3
-
6
-
5
看后面命令,在模式空间匹配5并将保持空间的3与5交换,5就变成了3,。最后把保持空间的5追加到模式空间的
每行后面添加新空行
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
'G'
-
1
-
-
2
-
-
3
-
-
4
-
-
5
-
-
6
标签(:,b,t)
标签可以控制流,实现分支判断。 : lable name 定义标签 b lable 跳转到指定标签,如果没有标签则到脚本末尾 t lable 跳转到指定标签,前提是 s///命令执行成功
将换行符替换成逗号
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
'N;s/\n/,/'
-
1,
2
-
3,
4
-
5,
6
这种方式并不能满足我们的需求,每次sed读取到模式空间再打印是新行,替换\n也只能对N命令追加后的1\n2这样替换。 这时就可以用到标签了
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
':a;N;s/\n/,/;b a'
-
1,
2,
3,
4,
5,
6
看看这里的标签使用,:a 是定义的标签名,b a是跳转到a位置。 sed 读取第一行 1,N 命令读取下一行 2,此时模式空间是 1\n2$,执行替换,此时模式空间是1,2$,执行 b 命令再跳转到标签 a 位置继续执行 N 命令,读取下一行 3 追加到模式空间,此时模式空间是1,2\n3$,再替换,以此类推,不断追加替换,直到最后一行 N 读不到下一行内容退出。
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
':a;N;$!b a;s/\n/,/g'
-
1,
2,
3,
4,
5,
6
先将每行读入到模式空间,最后再执行全局替换。$!是如果是最后一行,则不执行 b a 跳转,最后 执行全局替换。
-
[root@
bigdata-sg-a-07
~]
# seq
6
|sed
':a;N;b a;s/\n/,/g'
-
1
-
2
-
3
-
4
-
5
-
6
可以看到,不加$!是没有替换,因为循环到N命令没有读到行就退出了,后面的替换也就没执行
每三个数字加个一个逗号
-
[root@
bigdata-sg-a-07
~]
# echo
"123456789"
|sed -r
's/([0-9]+)([0-9]+{3})/\1,\2/'
-
123456,
789
-
[root@
bigdata-sg-a-07
~]
# echo
"123456789"
|sed -r
':a;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'
-
123,
456,
789
执行第一次时,替换最后一个,跳转后,再对123456匹配替换,直到匹配替换不成功,不执行t命令
忽略大小写匹配(I)
-
[root@
bigdata-sg-a-07
~]
# echo
-e
"a\nA\nb\nc"
|sed
's/a/1/g'
-
1
-
A
-
b
-
c
-
[root@
bigdata-sg-a-07
~]
# echo
-e
"a\nA\nb\nc"
|sed
's/a/1/Ig'
-
1
-
1
-
b
-
c
获取总行数(=)
-
[root@
bigdata-sg-a-07
~]
# seq
10
|sed -n
'$='
-
10