一.sed 基本概念
Stream EDitor, 行编辑器
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的
内容,处理完成后,把缓冲区的内容送往屏幕。然后读入下行,执行下一个循环。如果没有使诸如‘D’的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重
定向存储输出。
功能:主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
参考:
http://www.gnu.org/software/sed/manual/sed.html
二. 用法:
sed 选项 脚本
常用选项:
-n 不自动打印
-e 多点编辑
-f path 从指定文件中读取编辑脚本
-r 支持使用扩展正则表达式
-i.bak 备份文件并原处编辑
sed -n ‘p’ /etc/passwd 关闭了自动打印,但还有p打印
相当于sed ‘’ /etc/passwd
sed -n ‘2p’ 文件 只打印第二行
三. 地址定界:
正则表达式必须放在两个//之间
(1) 不给地址 对全文进行处理
(2) 单地址:
#:指定的行,$:最后一行
/pattern/:正则表达式必须放在两个//之间
(3) 地址范围:
#,# 打印第那几行
#,+#
/pat1/,/pat2/ 指定范围(以pat1开头,以pat2结尾之间的行)
#,/pat1/
打印3,5行
打印以U开头的行
(4) ~:步进
1~2 奇数行 从第一行开始隔2个
2~2 偶数行 从第二行开始隔1个
四. 编辑命令:
d 删除模式空间匹配的行,并立即启用下一轮循环
p 打印当前模式空间内容,追加到默认输出之后
a [\]text
在指定行后面追加文本,支持使用\n实现多行追加会写入源文件
i [\]text
在行前面插入文本会写入源文件
c [\]text
替换行为单行或多行文本
w /path/file
保存模式匹配的行至指定文件
r /path/file
读取指定文件的文本至模式空间中匹配到的行后
=
将行号打印出来
!
取反 处理
s///
查找替换,支持使用其它分隔符,s@@@,s###
&
也可以代表前面匹配到的所有内容
显示网络连接状态,不显示第一行的
不显示#开头的行
同时删除#开头,空行的行
中间用分好;隔开相当于-e
a-------会改变源文件
插入空格 必须用 \转义
经常与-i选项连用(都会备份-i.bak)—备份的是源文件
在奇数行前面插入----本分的ssss.bak为原来的内容
w匹配到的行重定向新的文件
将这个文件中的一#开头的文件删了并且另存为/date/rmmm
sed ‘/^#/d ; w /date/rmmm’ /etc/passwd
= 将行号打印出来
!取反
五. 替换标记:
g 行内全局替换
p 显示替换成功的行
w /PATH/FILE 将替换成功的行保存至文件中
将root替换为ROOT
如果加上小g那么就是这一行全局替换
通常在第一个/后面可以写正则表达式
将ip地址取出来
分组留下2
-r是扩展正则表达式
删除指定行前面的注释号#
搜出这些行之间的行 /得转义/
删除用s@#@@
打印基名basename,和目录名dirname
这里用到分组和替换
将 ^/.*/
分成第一组 目录名
将[^/]+
分成第二组 基名 后面的/?----/出现0-1次
将网卡名会变成eth0和eth1恢复到传统centos6的网卡
也可以不用分组 &符号表示前面搜索出来的内容
sed ‘2p’ /etc/passwd
sed -n ‘2p’ /etc/passwd
sed -n ‘1,4p’ /etc/passwd
sed -n ‘/root/p’ /etc/passwd
sed -n ‘2,/root/p’ /etc/passwd 从2行开始
sed -n ‘/^KaTeX parse error: Expected group after '^' at position 29: …行号 sed -n -e ‘/^̲/p’ -e ‘/^KaTeX parse error: Undefined control sequence: \superman at position 21: …ile Sed‘/root/a\̲s̲u̲p̲e̲r̲m̲a̲n̲’ /etc/passwd行后…/d’ file
sed ‘1,10d’ file
nl /etc/passwd | sed ‘2,5d’
nl /etc/passwd | sed ‘2a tea’
sed ‘s/test/mytest/g’ example
sed –n ‘s/root/&superman/p’ /etc/passwd 单词后
sed –n ‘s/root/superman&/p’ /etc/passwd 单词前
sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets
sed –i.bak ‘s/dog/cat/g’ pets
六.高级编辑命令
P: 打印模式空间开端至\n内容,并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G:从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N:读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D:如果模式空间包含换行符,则删除直到第一个换行符的模式空间中的文本, 并不会读取新的输入行,而使用合成的模式空间重新启动循环。如果模式空间
不包含换行符,则会像发出d命令那样启动正常的新循环
例题
1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符
3、在centos6系统/root/install.log每一行行首增加#号
4、在/etc/fstab文件中不以#开头的行的行首增加#号
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
6、利用sed 取出ifconfig命令中本机的IPv4地址
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
8、统计/etc/init.d/functions文件中每个单词的出现次数,并排序(用grep和sed两种方法分别实现)
9、将文本文件的n和n+1行合并为一行,n为奇数行
给指定行加注释
给1,5行加注释
s/^/#/
sed -i -e "1,5 s/^/#/" hello
给指定的某一段内容加注释,(以hello world开始的10行内容加注释
)
str='hello world'
#找hello world是哪一行
start_line=`sed -n "/${str}/=" /tmp/test.sh`
after_count=10
end_line=$(($start_line + $after_count))
sed -i -e "$start_line,$end_line s/^/#/" /tmp/test.sh
修改匹配下行内容
批量替换mysql域名解析
sed -ri "/.*mysql.*/{n;s@(.*value: ).*@\1替换后的内容@;}" text.txt |grep mysql -A1
#最后确认一下
grep -A1 mysql text.txt
例如:
替换之前
- record: mysql-ag.db.sdns.kscbigdata.cloud
value: 10.2.20.124
替换之后
- record: mysql-ag.db.sdns.kscbigdata.cloud
value: 替换后的内容