shell脚本 -- sed流编辑器

流编辑器 sed

 

一、 sed 工作流程


sed 是一种在线的、非交互式的编辑器,它一次处理一行内容。处理时,把当前处理的行存
储在临时缓冲区
中,称为“模式空间”(pattern space),接着用 sed 命令处理缓冲区中的内容,处理完成后,
把缓冲区的内容
送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你
使用重定向存储输出。
Sed 主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。
sed -ri.bak
sed -ric --follow-symlinks
 

二、命令格式


sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
注:
sed 和 grep 不一样,不管是否找到指定的模式,它的退出状态都是 0
只有当命令存在语法错误时, sed 的退出状态才是非

三、支持正则表达式

与 grep 一样, sed 在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达
式是
括在斜杠间的模式,用于查找和替换,以下是 sed 支持的元字符。
使用基本元字符集 ^, $, ., *, [], [^], \< \>,\(\),\{\}
使用扩展元字符集 ?, +, { }, |, ( )
使用扩展元字符的方式:
\+
sed -r

 

sed 命令


sed 命令告诉 sed 对指定行进行何种操作,包括打印、删除、修改等。
命令 功能
a 在当前行后添加一行或多行
c 用新文本修改(替换)当前行中的文本
d 删除行
i 在当前行之前插入文本
l 列出非打印字符
p 打印行
n 读入下一输入行,并从下一条命令而不是第一条命令开始对其的处理
q 结束或退出 sed
! 对所选行以外的所有行应用命令
s 用一个字符串替换另一个
s 替换标志
g 在行内进行全局替换
i 忽略大小写
r 从文件中读
w 将行写入文件
y 将字符转换为另一字符(不支持正则表达式)
h 把模式空间里的内容复制到暂存缓冲区(覆盖)
H 把模式空间里的内容追加到暂存缓冲区
g 取出暂存缓冲区的内容,将其复制到模式空间,覆盖该处原有内容
G 取出暂存缓冲区的内容,将其复制到模式空间,追加在原有内容后面
x 交换暂存缓冲区与模式空间的内


选项


选项 功能
-e 允许多项编辑
-f 指定 sed 脚本文件名
-n 取消默认的输出
-i inplace,就地编辑
-r 支持扩展元字符
 

四、 sed 基本用法

# sed -r '' /etc/passwd
# sed -r 'p' /etc/passwd
# sed -r -n 'p' /etc/passwd
# sed -r -n '/root/p' /etc/passwd
# sed -r 's/root/alice/' /etc/passwd
# sed -r 's/root/alice/g' /etc/passwd
# sed -r 's/root/alice/gi' /etc/passwd
# sed -r '/root/d' /etc/passwd
# sed -r '\crootcd' /etc/passwd                   #这里的\c 和d前面的c是自定义的符号,相当于上面的/
========================================================
[root@tianyun ~] vim a.txt
/etc/abc/456
etc
[root@tianyun ~]# sed -r '//etc/abc/456/d' a.txt
sed: -e 表达式 #1,字符 0: no previous regular expression
[root@tianyun ~]# sed -r '/\/etc\/abc\/456/d' a.txt
/etc/abc/456
[root@tianyun ~]# sed -r '\#/etc/abc/456#d' a.txt   #当这里仅仅是查找的话,自定义需要加\,这里是\#,相当于声明一个\#
/etc/abc/456
[root@tianyun ~]# sed -r 's#/etc/abc/456#/dev/sda1#'  #当这里是查找替换直接#,不需要加\

五、 sed 扩展


==地址(定址)
地址用于决定对哪些行进行编辑。地址形式可以是数字、 正则表达式或二者的结合。如果没
有指定
地址, sed 将处理输入文件中的所有行。
 

# sed -r 'd' /etc/passwd
# sed -r '3d' /etc/passwd
# sed -r '1,3d' /etc/passwd
# sed -r '/root/d' /etc/passwd
# sed -r '/root/,5d' /etc/passwd            #从root行开始,删除5行
# sed -r 's/root/alice/g' /etc/passwd
# sed -r '/^adm/,+20d' /etc/passwd          #从adm打头的行开始,再加20行删除
# sed -r '2,5d' /etc/passwd                 #第2行到第5行
# sed -r '/root/d' /etc/passwd              #root行删除
# sed -r '/root/!d' /etc/passwd             #除了root行全删除
# sed -r '1~2d' /etc/passwd //删除所有奇数行 odd-numbered            #从1开始每2个删一个
# sed -r '0~2d' /etc/passwd //删除所有偶数行 even-numbered           #从0开始每2个删一个


六、 sed 命令示例
 

打印命令: p
# sed -r '/north/p' datafile
# sed -r -n '/north/p' datafile

删除命令: d
# sed -r '3d' datafile
# sed -r '3{d;}' datafile           #如果还有别的命令就得用;
# sed -r '3{d}' datafile
# sed -r '3,$d' datafile
# sed -r '$d' datafile
# sed -r '/north/d' datafile
# sed -r '/sout/d' datafile

替换命令: s
# sed -r 's/west/north/g' datafile
# sed -r '1,5s/^west/north/' datafile    //1到5行
# sed -r 's/[0-9][0-9]$/&.5/' datafile //&代表在查找串中匹配到的内容
# sed -r 's/Hemenway/Jones/g' datafile
# sed -r 's/(Mar)got/\1ianne/g' datafile
# sed -r 's#3#88#g' datafile

读文件命令: r
# sed -r '/Suan/r /etc/newfile' datafile     //读到Suan行的时候去读入/etc/newfile 的文件
# sed -r '2r /etc/hosts' a.txt               //第2行下读入/etc/newfile 的文件
# sed -r '/2/r /etc/hosts' a.txt             //这里的2是正则,带有2的行

写文件命令: w
# sed -r '/north/w newfile' datafile
# sed -r '3,$w /new1.txt' datafile          //第3行到最后一行写入到new1.txt

追加命令: a
# sed -r '2a\1111111111111' /etc/hosts     //第2行后插入
# sed -r '2a\1111111111111\                //多行追加
> 222222222222\
> 333333333333' /etc/hosts

插入命令: i
# sed -r '2i\1111111111111' /etc/hosts     //第2行前面插入
# sed -r '2i111111111\> 2222222222\
> 3333333333' /etc/hosts

修改命令: c
# sed -r '2c\1111111111111' /etc/hosts
# sed -r '2c\111111111111\
> 22222222222\
> 33333333333' /etc/hosts

获取下一行命令: n
# sed -r '/eastern/{ n; d }' datafile                     //匹配对象的下一行
# sed -r '/eastern/{ n; s/AM/Archile/ }' datafile



/etc/host里面的内容
111
222
333

暂存空间本身有一个空行

暂存和取用命令:模式空间->暂存空间: h(覆盖) H(追加)| 暂存空间->模式空间: g(覆盖) G(追加)

# sed -r '1h;$G' /etc/hosts                     //将第一行复制到暂存空间,到了最后一行再把它取过来
结果:   111
        222
        333
        111


# sed -r '1{h;d};$G' /etc/hosts               //将第一行复制到暂存空间,再删除,到了最后一行再把它取过来 
结果:   
        222
        333
        111



# sed -r '1h; 2,$g' /etc/hosts             //将第一行复制到暂存空间,第2行到最后一行覆盖
结果:   111
        111
        111
        111


# sed -r '1h; 2,3H; $G' /etc/hosts       //先将第1行复制到内存空间,2,3行追加,然后复制到最后一行下面
结果:   111
        222
        333
        111
        222
        333

暂存空间和模式空间互换命令: x
# sed -r '4h; 5x; 6G' /etc/hosts  //处理到第4行覆盖到暂存空间,处理到第5行时交换,处理到第6行,将暂存空间的数据追加到下面

反向选择: !
# sed -r '3d' /etc/hosts          //删除第3行
# sed -r '3!d' /etc/hosts         //除了三行以外的全部删除

多重编辑选项: e
# sed -r -e '1,3d' -e 's/Hemenway/Jones/' datafile
# sed -r '1,3d; s/Hemenway/Jones/' datafile
# sed -r '2s/WE/UPLOOKING/g; 2s/Gray/YYY/g' datafile
# sed -r '2{s/WE/UPLOOKING/g; s/Gray/YYY/g}' datafile

七、 sed 常见操作


删除配置文件中#号注释行
sed -ri '/^#/d' file.conf
sed -ri '/^[ \t]*#/d' file.conf


删除配置文件中//号注释行
sed -ri '\Y^[ \t]*//Yd' file.conf


删除无内容空行
sed -ri '/^[ \t]*$/d' file.conf


删除注释行及空行:
# sed -ri '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*($|#)/d' /etc/vsftpd/vsftpd.conf


修改文件:
# sed -ri '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf
# sed -ri '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
# sed -ri '/UseDNS/cUseDNS no' /etc/ssh/sshd_config
# sed -ri '/GSSAPIAuthentication/cGSSAPIAuthentication no' /etc/ssh/sshd_config


给文件行添加注释:
# sed -r '2,6s/^/#/' a.txt
# sed -r '2,6s/(.*)/#\1/' a.txt
# sed -r '2,6s/.*/#&/' a.txt &匹配前面查找的内容
# sed -r '3,$ s/^#*/#/' a.txt 将行首零个或多个#换成一个#
# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf


sed 中使用外部变量
# var1=11111
# sed -ri "3a$var1" /etc/hosts
# sed -ri "$a$var1" /etc/hosts                这个会报错,会把$a也当成变量
# sed -ri '$a\'"$var1" /etc/hosts
# sed -ri 3a$var1 /etc/hosts

# sed -ri \$a$var1 /etc/hosts             不加引号,最后一行$前面要加\
# sed -ri "\$a$var1" /etc/hosts
 

 

练习

 

sed '1!G;h;$!d' file

通过下面的讲解大家可以了解到sed的处理机制以及处理过程:

说明:

  • 第一行左边为文件内容,箭头所指为sed当前处理的行,右侧为sed命令;
  • 后面三行左侧绿色为模式空间内容,右侧蓝色为保持空间内容。
  • 每次sed只读取文件中一行到模式空间,即每次执行sed命令前,模式空间中只有文件中当前处理行内容,这一点没有在图中表现。
  • 每一行表示一个命令处理完后两个空间中的内容

困为每一步骤都很清楚,所以只把执行的结果以图形表示,不做说明,可以对照前面对sed命令的说明,以加深理解

1,读取文件的行一行"First"进行处理,最后一个命令将模式空间内容删除,所以不会在屏幕上打印内容

2,读取第二行“Sencond”进行处理,最后一个命令将模式空间内容删除,所以不会在屏幕上打印内容

3,读取第三行“three”进行处理,注意sed处理完之后会把,会把模式空间中内容打印到屏幕并自动清空模式空间(这个没在图中表现)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卡搜偶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值