sed命令的语法格式
sed的命令格式: sed [option] 'sed command'filename
sed命令的选项(option)
-n :只打印模式匹配的行
-e :直接在命令行模式上进行sed动作编辑,此为默认选项
-f :将sed的动作写在一个文件内,用–f filename 执行filename内的sed动作
-r :支持扩展表达式
-i :直接修改文件内容
常用的命令匹配模式
x | x为行号 |
---|---|
x,y | 表示行号从x到y |
x~step | x 指起始匹配行, step 指步长,例如: sed -n 2~5p 含义:从第二行开始匹配,隔 5 行匹配一次,即 2,7,12 |
/pattern | 查询包含模式的行 |
/pattern/, /pattern/ | 查询匹配到2行之间的所有行 |
pattern/,x | 在给定行号上查询包含模式的行 |
x,/pattern/ | 通过行号和模式查询匹配的行 |
x,y! | 查询不包含指定行号x和y的行 |
sed的编辑命令(sed command)
p | 打印匹配行(和-n选项一起合用) |
---|---|
= | 显示文件行号 |
a\ | 在定位行号后附加新文本信息 |
i\ | 在定位行号前插入新文本信息 |
d | 删除定位行 |
c\ | 用新文本替换定位文本 |
w filename | 写文本到一个文件,类似输出重定向 > |
r filename | 从另一个文件中读文本,类似输入重定向 < |
s | 使用替换模式替换相应模式 |
q | 第一个模式匹配完成后退出或立即退出 |
l | 显示与八进制ACSII代码等价的控制符 |
{} | 在定位行执行的命令组,用分号隔开 |
n | 从另一个文件中读文本下一行,并从下一条命令而不是第一条命令开始对其的处理 |
N | 在数据流中添加下一行以创建用于处理的多行组 |
g | 将模式2粘贴到/pattern n/ |
y | 传送字符,替换单个字符 |
使用正则表达式、扩展正则表达式
^ | 锚点行首的符合条件的内容,用法格式"^pattern" |
---|---|
$ | 锚点行首的符合条件的内容,用法格式"pattern$" |
^$ | 空白行 |
. | 匹配任意单个字符 |
* | 匹配紧挨在前面的字符任意次(0,1,多次) |
.* | 匹配任意长度的任意字符 |
\? | 匹配紧挨在前面的字符0次或1次 |
{m,n} | 匹配其前面的字符至少m次,至多n次 |
{m,} | 匹配其前面的字符至少m次 |
{m} | 精确匹配前面的m次{0,n}:0到n次 |
< | 锚点词首----相当于 \b,用法格式:<pattern |
> | 锚点词尾,用法格式:>pattern |
<pattern> | 单词锚点 |
分组,用法格式:pattern,引用\1,\2 | |
[] | 匹配指定范围内的任意单个字符 |
[^] | 匹配指定范围外的任意单个字符 |
[:digit:] | 所有数字, 相当于0-9, [0-9]—> [[:digit:]] |
[:lower:] | 所有的小写字母 |
[:upper:] | 所有的大写字母 |
[:alpha:] | 所有的字母 |
[:alnum:] | 相当于0-9a-zA-Z |
[:space:] | 空白字符 |
[:punct:] | 所有标点符号 |
正则表达式示例:
#######sed的匹配模式支持正则表达式#####################
sed '5 q' /etc/passwd #打印前5行
sed -n '/r*t/p' /etc/passwd#打印匹配r有0个或者多个,后接一个t字符的行
sed -n '/.r.*/p' /etc/passwd#打印匹配有r的行并且r后面跟任意字符
sed -n '/o*/p' /etc/passwd#打印o字符重复任意次
sed -n '/o\{1,\}/p' /etc/passwd#打印o字重复出现一次以上
sed -n '/o\{1,3\}/p' /etc/passwd#打印o字重复出现一次到三次之间以上
常用的例子
存在如下文件:
first
second
#
third
fourth
# test
five
six
- 从第一行开始,每隔2行打印一次
sed -n '1~2p' sed.txt
first
#
third
# test
six
-
打印1-3行内容,并输出行号
sed -n '1,3{=;p}' sed.txt
当用到sed不同饿编辑命令时候,用{}且不同编辑命令之间用分号。
[root@localhost ~]# sed -n '1,3{=;p}' sed.txt
1
first
2
second
3
#
-
打印从第一行开始,匹配到某一行所有行:
sed -n '1,/third/p' sed.txt
-
打印从匹配的行开始,至最后一行内容:
sed -n '/third/, $p' sed.txt
$
表示是最后一行,也可以表示行尾
[root@localhost ~]# sed -n '1,/third/p' sed.txt
first
second
#
third
[root@localhost ~]# sed -n '/third/, $p' sed.txt
third
fourth
# test
five
six
可以基于这个,实现打印某个区间段的日志:
log.log日志如下:
2021-04-09 11:23:09 INFO: request: GET https://127.0.0.1:4569/lease_communication {"uuid"=>"uuid"} [127.0.0.1]
2021-04-09 11:23:09 INFO: response: 200
2021-04-09 11:23:09 INFO: request: GET https://127.0.0.1:4569/lease_communication {"uuid"=>"uuid"} [127.0.0.1]
2021-04-09 11:23:09 INFO: response: 200
2021-04-09 11:23:10 INFO: request: GET https://10.2.2.20:4569/lease_collect_files {"member_id"=>1, "uuid"=>"uuid"} [10.2.2.20]
2021-04-09 11:23:10 INFO: response: 200
2021-04-09 11:23:10 INFO: request: DELETE https://10.2.2.20:4569/lease_collect_files {"files"=>[], "uuid"=>"uuid"} [10.2.2.20]
2021-04-09 11:23:10 INFO: response: 200
2021-04-09 11:23:31 INFO: request: GET https://localhost:4569/service {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:23:32 INFO: request: GET https://localhost:4569/service {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:23:32 INFO: request: GET https://localhost:4569/discover-result {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:23:32 INFO: request: GET https://localhost:4569/dhcp-failovers/alarm {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:24:09 INFO: request: GET https://127.0.0.1:4569/lease_communication {"uuid"=>"uuid"} [127.0.0.1]
2021-04-09 11:24:09 INFO: response: 200
2021-04-09 11:24:09 INFO: request: GET https://127.0.0.1:4569/lease_communication {"uuid"=>"uuid"} [127.0.0.1]
2021-04-09 11:24:09 INFO: response: 200
2021-04-09 11:24:12 INFO: request: GET https://10.2.2.20:4569/lease_collect_files {"member_id"=>1, "uuid"=>"uuid"} [10.2.2.20]
2021-04-09 11:24:12 INFO: response: 200
2021-04-09 11:24:12 INFO: request: DELETE https://10.2.2.20:4569/lease_collect_files {"files"=>[], "uuid"=>"uuid"} [10.2.2.20]
2021-04-09 11:24:12 INFO: response: 200
2021-04-09 11:24:34 INFO: request: GET https://localhost:4569/service {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:24:34 INFO: response: 200
2021-04-09 11:24:34 INFO: request: GET https://localhost:4569/service {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:24:35 INFO: response: 200
打印2021-04-09 11:23:31-2021-04-09 11:24:09
时间段的日志:
sed -n '/2021-04-09 11:23:31/, /2021-04-09 11:24:09/p' log.log
[root@localhost ~]# sed -n '/2021-04-09 11:23:31/, /2021-04-09 11:24:09/p' log.log
2021-04-09 11:23:31 INFO: request: GET https://localhost:4569/service {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:23:32 INFO: request: GET https://localhost:4569/service {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:23:32 INFO: request: GET https://localhost:4569/discover-result {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:23:32 INFO: request: GET https://localhost:4569/dhcp-failovers/alarm {"uuid"=>"uuid", "command_queue_running_id"=>"[zdns:dcp_agent]#", "command_version"=>nil} [::1]
2021-04-09 11:23:32 INFO: response: 200
2021-04-09 11:24:09 INFO: request: GET https://127.0.0.1:4569/lease_communication {"uuid"=>"uuid"} [127.0.0.1]
需要特别注意的是,2021-04-09 11:23:31和2021-04-09 11:24:09必须要在日志中能够匹配到,否则打印的结果就不准确。原因就是,/2021-04-09 11:23:31/, /2021-04-09 11:24:09/
,分别对应的是开启和结束的行,如果匹配不到,就找不到对应的行,打印的结果就不准确
-
打印非#开头的行:
sed -n '/^#/!p' sed.txt
用
!
表示对前面的匹配的结果取反
[root@localhost ~]# sed -n '/^#/!p' sed.txt
first
second
third
fourth
# test
five
six
-
打印去除空格开头、#开头的行:
sed -e '/^#/d' -e '/^$/d' -e '/^[[:space:]]/d' sed.txt
通过
e
可以实现对单个文件实现不同的操作。^$
是匹配到空行,^[[:space:]]
匹配以空格开头的行,为什么要加个[]
,目前还不是很清楚。匹配到的字符 -
替换匹配到的内容,格式为:
sed -e s/匹配内容/替换内容/g 文件
,g 是一个全局替换标志,就是替换所有匹配内容。如果不加g
,只会匹配每行的第一个并替换- 在每行开头添加
line
的内容:sed -e 's/^/line /' sed.txt
- 在每行结尾添加
line
的内容:sed -e 's/$/ line/' sed.txt
- 替换
#
符号为//
:sed -e 's/#/\/\//g' sed.txt
- 替换指定行的内容:
sed -e '1,3 s/#/\/\//g' sed.txt
- 在每行开头添加
[root@localhost ~]# sed -e 's/^/line /' sed.txt
line first
line second
line #
line
line third
line fourth
line # test
line five
line six
[root@localhost ~]# sed -e 's/$/ line/' sed.txt
first line
second line
# line
line
third line
fourth line
# test line
five line
six line
[root@localhost ~]# sed -e 's/#/\/\//9' sed.txt
first
second
//
third
fourth
// test
five
six
[root@localhost ~]# sed -e '1,3 s/#/\/\//g' sed.txt
first
second
//
third
fourth
# test
five
six