sed

1、sed的定义

sed是一种流编辑器，按行处理，一次处理一行内容

处理方式：如果只是展示，会放在缓冲区（模式空间），展示结束后，会从模式空间把操作结果删除

一行一行处理，处理完当前行才会处理下一行，直到文件末尾。

作用：对文本的内容进行增删改查，最好用的是改和增

2、sed的命令格式和操作选项

sed -e ‘操作符’ -e '操作符' 文件1 文件2

-e表示可以跟多个操作符，只有一个操作，-e可以省略

sed -e '操作符1;操作符2' 文件 文件2

2.1选项

-e：用于执行多个操作命令

-f：在脚本中定义好了操作符，然后根据脚本内容的操作符对文件进行操作

-i：直接修改目标文件（慎用）

-n：仅显示script处理后的结果（不加-n，sed会有两个输出结果，加了-n就会把默认输出屏蔽，只显示一个结果）

2.2操作符

p：打印结果

r：使用扩展正则表达式

s：替换，替换字符串

c：替换，替换行

y：替换，替换单个字符，多个字符替换必须和替换内容的字符长度保持一致

d：删除，删除行

a：增加，在指定行的下一行插入内容

i：增加，在指定行的上一行插入内容

r：在行后增加文本内容（将读取的文件内容添加到对象文件中）

$a：在最后一行插入新的内容

$i：在倒数第二行插入新的内容

$r：读取其他文件的内容，然后插入到对象文件的最后一行

3、sed的打印功能

3.1寻址打印

sed -n '=' 只显示行号

[root@test1 opt]# sed -n '=' test1.txt

1
2
3
4

sed -n '=;p' 既显示行号又显示内容

[root@test1 opt]# sed -n '=;p' test1.txt

1
aaa
2
bbb
3
ccc
4
ddd
5
eee
6
fff
7
ggg
8
hhh
9
iii

打印指定的行：sed -n '4p'

[root@test1 opt]# sed -n '4p' test1.txt

ddd

打印最后一行：sed -n '$p'

[root@test1 opt]# sed -n '$p' test1.txt

iii

3.2行号范围打印

打印2-4行：sed -n ‘2,4p’

[root@test1 opt]# sed -n '2,4p' test1.txt

bbb
ccc
ddd

打印2-最后一行：sed-n ‘2,$p’

[root@test1 opt]# sed -n '2,$p' test1.txt

bbb
ccc
ddd
eee
fff
ggg
hhh
iii

打印第2行和最后一行：sed-n ‘2p;$p’

[root@test1 opt]# sed -n '2p;$p' test1.txt

bbb
iii

3.3打印奇数行和偶数行

奇数行：sed-n ‘p;n’

n的作用，跳过一行，打印下一行

[root@test1 opt]# sed -n 'p;n' test1.txt

aaa
ccc
eee
ggg
iii

偶数行：sed-n ‘n;p’

[root@test1 opt]# sed -n 'n;p' test1.txt

bbb
ddd
fff
hhh

4、对文本内容进行过滤

sed -n '/a/p' 过滤并打印包含a的行

[root@test1 opt]# sed -n '/a/p' test1.txt

aaa
cacc
eeae
fffa

使用正则表达式对文本内容进行过滤

sed -n '/^root/p' /etc/passwd 打印以root为开头的行

[root@test1 opt]# sed -n '/^root/p' /etc/passwd

root:x:0:0:root:/root:/bin/bash

sed -n '33,/bash$/p'从指定行开始，打印到第一个以bash为结尾的行

[root@test1 opt]# sed -n '33,/bash$/p' /etc/passwd

geoclue:x:992:986:User for geoclue:/var/lib/geoclue:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
sssd:x:991:985:User for sssd:/:/sbin/nologin
……

打印至少有两个99:的行

[root@test1 opt]# sed -rn '/(99:){2,}/p' /etc/passwd

nobody:x:99:99:Nobody:/:/sbin/nologin

要么以root为开头，要么以bash为结尾的行

[root@test1 opt]# sed -rn '/^root|bash$/p' /etc/passwd

root:x:0:0:root:/root:/bin/bash
test1:x:1000:1000:test1:/home/test1:/bin/bash
dn:x:1001:1001::/home/dn:/bin/bash
test2:x:1011:1011::/home/test2:/bin/bash

面试题：如何免交互删除文本内容，不删除文件

sed -i ‘d’ 文件名

cat /dev/null > 文件名

5、sed的删除操作

sed -n '3d;p' 删除第三行，打印剩余的行

[root@test1 opt]# sed -n '3d;p' test1.txt

111
222
444
555
666
777
888
999
000

sed -n '5,$d;p' 删除第五行到最后一行，打印剩余的行

[root@test1 opt]# sed -n '5,$d;p' test1.txt 

111
222
333
444

sed -n '1!d;p' 除了第一行其他的都删除

[root@test1 opt]# sed -n '1!d;p' test1.txt 

111

sed -n ‘4,6!d;p’ 除了第四行到第六行，其他的都删除

[root@test1 opt]# sed -n '4,6!d;p' test1.txt

444
555
666

sed -n '4d;6d;p' 除了第四行和第六行，其他的都打印

[root@test1 opt]# sed -n '4d;6d;p' test1.txt

111
222
333
555
777
888
999
000

sed -i -e '1,3d' 除了第四行和第六行，其他的都删除

[root@test1 opt]# sed -i -e '1,3d' -e '5d' -e '7,$d' test1.txt
[root@test1 opt]# cat test1.txt

444
666

6、匹配字符串进行删除行

sed '/a/d' 删除所有包含a的行

[root@test1 opt]# sed '/a/d' test1.txt

bhdbh nj
hx sjdh
wud ndhcbdh dd

面试题：如何免交互删除空行？

sed '/^$/d' 文件名

cat 文件名 | tr -s "\n"

grep -v "^$" 文件名

7、s替换字符串

sed -n 's/root/test/p' 把root替换成test（只替换第一个root）

[root@test1 opt]# sed -n 's/root/test/p' /etc/passwd

test:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

sed -n 's/root/test/gp' 把所有的root都替换成test

[root@test1 opt]# sed -n 's/root/test/gp' /etc/passwd

test:x:0:0:test:/test:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

sed -n 's/^/#/p' 每一行都加#注释掉

[root@test1 opt]# sed -n 's/^/#/p' test1.txt

#111
#222
#333
#444
#555
#666
#777
#888
#999
#000

注释第四行到第六行

[root@test1 opt]# sed -n '4,6 s/^/#/p' test1.txt

#444
#555
#666

注释第四行和第六行

[root@test1 opt]# sed -n '4,6 s/^/#/p' test1.txt

#444
#555
#666

8、对字母进行大小写替换

8.1小写替换成大写

sed 's/[a-z]/\u&/' 文件名 首字母变成大写

u&转换首字母大写的特殊符号，\转义符

[root@test1 opt]# sed 's/[a-z]/\u&/' test1.txt

Aaa
Bbb
Ccc
Ddd

sed 's/[a-z]/\u&/g' 文件名 把所有的小写都变成大写

[root@test1 opt]# sed 's/[A-Z]/\l&/' test1.txt

aAA
bBB
cCC
dDD

8.2大写替换成小写

sed 's/[A-Z]/\l&/' 文件名 首字母变成小写

[root@test1 opt]# sed 's/[A-Z]/\l&/' test1.txt

aAA
bBB
cCC
dDD

sed 's/[A-Z]/\l&/g' 文件名 把所有的小写都变成小写

[root@test1 opt]# sed 's/[A-Z]/\l&/g' test1.txt

aaa
bbb
ccc
ddd

9、整行替换

sed '/原内容/c 替换内容' 文件名

面试题：替换ip地址

原ip地址：IPADDR=192.168.230.10

替换之后的ip地址：IPADDR=192.168.230.100

[root@test1 opt]# sed '/IPADDR=192.168.230.10/c IPADDR=192.168.230.100' /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.230.100
NETMASK=255.255.255.0
GATEWY=192.168.230.2
DNS1=218.2.135.1

10、y单字符替换

把one替换成123，替换的字符串长度要相同

[root@test1 opt]# sed 'y/one/123/' test1.txt
123
tw1
thr33
f1ur
fiv3
six
s3v32
3ight
2i23
t32

11、使用sed对字符串和字符的位置进行互换

字符串互换位置

[root@test1 opt]# echo abc | sed -r 's/(a)(b)(c)/\3\1\2/'

cab

单个字符互换位置

[root@test1 opt]# echo 早上好 | sed -r 's/(.)(.)(.)/\3\2\1/'

好上早

面试题1：提取出文本的型号

ant-1.9.7.jar

ant-launcher-1.9.7.jar

antlr-2.7.7.jar

antlr-runtime-3.4.jar

aopalliance-1.0.jar

archaius-core-0.7.6.jar

asm-5.0.4.jar

aspectjweaver-1.9.5.jar

bcpkix-jdk15on-1.64.jar

bcprov-jdk15-1.46.jar

bcprov-jdk15on-1.64.jar

checker-compat-qual-2.5.5.jar

方法1：

[root@test1 opt]# cat lianxi.txt | grep -E "[0-9]+\."

ant-1.9.7.jar
ant-launcher-1.9.7.jar
antlr-2.7.7.jar
antlr-runtime-3.4.jar
aopalliance-1.0.jar
archaius-core-0.7.6.jar
asm-5.0.4.jar
aspectjweaver-1.9.5.jar
bcpkix-jdk15on-1.64.jar
bcprov-jdk15-1.46.jar
bcprov-jdk15on-1.64.jar
checker-compat-qual-2.5.5.jar

方法2：

[root@test1 opt]# cat lianxi.txt | sed -r 's/(.*)-(.*)(\.jar)/\2/'

1.9.7
1.9.7
2.7.7
3.4
1.0
0.7.6
5.0.4
1.9.5
1.64
1.46
1.64
2.5.5

面试题2：

打印指定时间内的日志

[root@test1 opt]# sed -n '/Jun 17 10:50:01/,/Jun 17 11:40:01/p' /var/log/messages

Jun 17 10:50:01 test1 systemd: Started Session 74 of user root.
Jun 17 11:00:01 test1 systemd: Started Session 75 of user root.
Jun 17 11:01:01 test1 systemd: Started Session 76 of user root.
Jun 17 11:10:01 test1 systemd: Started Session 77 of user root.
Jun 17 11:13:26 test1 chronyd[8756]: Selected source 185.209.85.222
Jun 17 11:20:01 test1 systemd: Started Session 78 of user root.
Jun 17 11:22:01 test1 systemd: Removed slice User Slice of root.
Jun 17 11:30:01 test1 systemd: Created slice User Slice of root.
Jun 17 11:30:01 test1 systemd: Started Session 79 of user root.
Jun 17 11:30:01 test1 systemd: Removed slice User Slice of root.
Jun 17 11:40:01 test1 systemd: Created slice User Slice of root.
Jun 17 11:40:01 test1 systemd: Started Session 80 of user root.
Jun 17 11:40:01 test1 systemd: Removed slice User Slice of root.