sed命令
sed在处理文本时是逐行读取文件内容,读到匹配的行就根据指令做操作,不匹配就跳过。
sed是Linux下一款功能强大的非交互流式文本编辑器,可以对文本文件进行增、删、改、查等操作,支持按行、按字段、按正则匹配文本内容,灵活方便,特别适合于大文件的编辑。
处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。
命令格式
sed [options] 'script' file(s)
sed [options] -f scriptfile file(s)
常用选项
-n 不输出模式空间内容到屏幕,即不自动打印
-e 多点编辑(对files 执行多个commad)
-f /PATH/SCRIPT_FILE 从指定文件中读取编辑脚本
-r 支持使用扩展正则表达式
-i.bak 备份文件并编辑修改原文件
输出包含字段aaaaa的行,并输出它的行号
# sed -n -e '/aaaaa/p' -e '/aaaaa/=' aa.txt
aaaaa
1
从执指定文件中读取编辑脚本顺序执行
# cat c.txt
/aaaaa/p
s/bbbbb/ffff/pg
# sed -n -f c.txt aa.txt
aaaaa
ffff
查找fstab文件中 以UUID开头的行
# sed -nr '/^UUID/p' /etc/fstab
UUID=f128825e-e68d-4fc4-ac29-76e5db1764ca /boot xfs defaults 0 0
备份aa.txt原文件,并将aa.txt文件中aaaaaa字符全局替换为test
# sed -i.bak 's/aaaaa/test/g' aa.txt
# ll
total 33580
-rw-r----- 1 root root 17 Jan 3 11:28 aa.txt
-rw-r----- 1 root root 18 Jan 3 10:07 aa.txt.bak
# cat a.txt
test
bbbbb
ccccc
script:
‘地址命令’
地址定界:
# cat aa.txt
aaaaa
bbbbb
ccccc
(1) 不给地址:对全文进行处理
# sed -n 'p' aa.txt
aaaaa
bbbbb
ccccc
(2) 单地址:
#:指定的行,$:最后一行
# sed -n '1p' aa.txt
aaaaa
# sed -n '$p' aa.txt
ccccc
/pattern/:被此处模式所能够匹配到的每一行
# sed -n '/aaa/p' aa.txt
aaaaa
(3) 地址范围:
m,n :从m行到n行
# sed -n '1,3p' aa.txt
aaaaa
bbbbb
ccccc
#,+# : 从#行开始 往下+#行结束
# sed -n '1,+1p' aa.txt
aaaaa
bbbbb
/pat1/,/pat2/ : 从第一个被匹配的pat1 行开始,到第一个匹配的part2行为止
# sed -n '/aa/,/cc/p' aa.txt
aaaaa
bbbbb
ccccc
#,/pat1/ : 从#行开始,到第一个被匹配的part1行为止
# sed -n '1,/cc/p' aa.txt
aaaaa
bbbbb
ccccc
(4) ~:步进
**1~2 奇数行 **
**2~2 偶数行 **
[root@ansible-client ~]# seq 10 | sed -n '1~2p'
1
3
5
7
9
[root@ansible-client ~]# seq 10 | sed -n '2~2p'
2
4
6
8
10
编辑命令:
d 删除模式空间匹配的行,并立即启用下一轮循环
p 打印当前模式空间内容,追加到默认输出之后
a [\]text 在指定行后面追加文本,支持使用\n实现多行追加
i [\]text 在行前面插入文本
c [\]text 替换行为单行或多行文本
w /path/file 保存模式匹配的行至指定文件
r /path/file 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
遍历/etc/passwd文件,在含有root字段的行的下一行添加superman
# sed '/root/a\superman' /etc/passwd
root:x:0:0:root:/root:/bin/bash
superman
...
遍历/etc/passwd文件,在含有root字段的行的前一行添加superman
# sed '/root/i\superman' /etc/passwd
superman
root:x:0:0:root:/root:/bin/bash
遍历/etc/passwd文件,将含有root字段的行替换为superman
# sed '/root/c\superman' /etc/passwd
superman
bin:x:1:1:bin:/bin:/sbin/nologin
反向匹配输出,含有bbbbb字段的行不输出
# sed -n '/bbbbb/!p' aa.txt
test
ccccc
s/// 查找替换,支持使用其它分隔符,s@@@,s###
替换标记:
g 行内全局替换
p 显示替换成功的行
w /PATH/FILE 将替换成功的行保存至文件中
将aa.txt中bbbbb字段全局替换为aa
# sed 's/bbbbb/aa/g' aa.txt
test
aa
ccccc
只输出替换成功的行
# sed -n 's/bbbbb/aa/pg' aa.txt
aa
引用变量
# var=root
1、sed引用变量,单引号里面需要使用''' '''
[root@ansible-client ~]# sed -n '/'''$var'''/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
2、双引号里面直接引用即可
# sed -n "s/$var/test/p" /etc/passwd
test:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin
高级编辑命令
P: 打印模式空间开端至\n内容,并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G:从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N:读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D:如果模式空间包含换行符,则删除直到第一个换行符的模式空间中的文本,并不会读取新的输入行,而使用合成的模式空间重新启动循环。如果模式空间不包含换行符,则会像发出d命令那样启动正常的新循环
实践:
1、获取Centos6或Centos7上的eth0 网卡IP
# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.177.96.14 netmask 255.255.255.0 broadcast 10.177.96.255
....
# ifconfig eth0 | sed -nr '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.177.96.14
2、取出路径父目录:
# dirname /etc/sysconfig/network-scripts/ifcfg-eth0
/etc/sysconfig/network-scripts
[root@ansible-client etc]# echo /etc/sysconfig/network-scripts |sed -r 's@(^/.*/)([^/]+)/?$@\1@'
/etc/sysconfig/
3、为/boot/grub2/grub.cfg 内核所在行最后添加 net.infname=0
# sed -rn '/^[[:space:]]+linux16/s#(.*)#\1 net.infname=0#p' /boot/grub2/grub.cfg
4、统计/etc/init.d/functions文件中每个单词的出现次数,并排序
1、sed实现
# sed -r '/^$/d;s/[^[:alpha:]]+/\n/g' /etc/init.d/functions |sort | uniq -c | sort -n
1 aA
1 abnormally
1 active
1 ActiveState
1 adjust
1 alive
1 already
.....
2、grep实现
# grep -Eo '[[:alpha:]]+' /etc/init.d/functions| sort | uniq -c | sort -n
5、将文本文件的n和n+1行合并为一行,n为奇数行
[root@ansible-client ~]# cat aa.txt
test
bbbbb
bbbbb
ccccc
sssss
sssss
[root@ansible-client ~]# sed "N; s/\n//" aa.txt
testbbbbb
bbbbbccccc
ssssssssss
综合实战训练
1、查找/etc目录下大于1M且类型为普通文件的所有文件
Note: find命令总结:
[root@test ~]# find /etc -size +1M -type f|xargs ls -lh
-rw------- 1 root root 3.8M Apr 26 2019 /etc/selinux/targeted/active/policy.kern
-rw-r--r-- 1 root root 1.4M Apr 26 2019 /etc/selinux/targeted/contexts/files/file_contexts.bin
-rw-r--r-- 1 root root 3.8M Apr 26 2019 /etc/selinux/targeted/policy/policy.31
-r--r--r-- 1 root root 7.6M Jul 11 2019 /etc/udev/hwdb.bin
2、打包/etc/目录下面所有conf结尾的文件,压缩包名称为当天的时间,并拷贝到/usr/local/src目录备份
[root@test ~]# tar -czvf /usr/local/src/`date +"%F_%T"`.tar.gz /etc/*.conf
tar: Removing leading `/' from member names
/etc/asound.conf
/etc/chrony.conf
/etc/dracut.conf
/etc/e2fsck.conf
/etc/GeoIP.conf
/etc/host.conf
/etc/kdump.conf
/etc/krb5.conf
/etc/ld.so.conf
/etc/libaudit.conf
/etc/libuser.conf
/etc/locale.conf
/etc/logrotate.conf
/etc/man_db.conf
/etc/mke2fs.conf
/etc/nscd.conf
/etc/nsswitch.conf
/etc/ntp.conf
/etc/resolv.conf
/etc/rsyncd.conf
/etc/rsyslog.conf
/etc/sestatus.conf
/etc/sudo.conf
/etc/sudo-ldap.conf
/etc/sysctl.conf
/etc/vconsole.conf
/etc/yum.conf
[root@test ~]# ll /usr/local/src/
total 16
-rw-r--r-- 1 root root 14822 Mar 22 21:16 2020-03-22_21:16:07.tar.gz
可以看出,上述在备份过程中有报错信息:tar: Removing leading `/’ from member names 。其原因是tar默认为相对路径,使用绝对路径的话就回报这个错,可以使用-P参数(注意大写)解决这个问题
[root@test ~]# tar -czvPf /usr/local/src/`date +"%F_%T"`.tar.gz /etc/*.conf
/etc/asound.conf
/etc/chrony.conf
/etc/dracut.conf
/etc/e2fsck.conf
/etc/GeoIP.conf
/etc/host.conf
/etc/kdump.conf
/etc/krb5.conf
/etc/ld.so.conf
/etc/libaudit.conf
/etc/libuser.conf
/etc/locale.conf
/etc/logrotate.conf
/etc/man_db.conf
/etc/mke2fs.conf
/etc/nscd.conf
/etc/nsswitch.conf
/etc/ntp.conf
/etc/resolv.conf
/etc/rsyncd.conf
/etc/rsyslog.conf
/etc/sestatus.conf
/etc/sudo.conf
/etc/sudo-ldap.conf
/etc/sysctl.conf
/etc/vconsole.conf
/etc/yum.conf
[root@test ~]# ll /usr/local/src/
total 16
-rw-r--r-- 1 root root 14816 Mar 22 21:18 2020-03-22_21:18:16.tar.gz
3、利用sed 取出ifconfig命令中本机的IPv4地址
[root@test ~]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.19.160.213 netmask 255.255.240.0 broadcast 172.19.175.255
ether 00:16:3e:0e:c6:8f txqueuelen 1000 (Ethernet)
RX packets 58858 bytes 6099273 (5.8 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 43001 bytes 4568542 (4.3 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[root@test ~]# ifconfig eth0 | sed -nr '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
172.19.160.213
4、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符
[root@test ~]# sed -r 's@^#[[:space:]]+@@' /etc/fstab
#
/etc/fstab
Created by anaconda on Thu Jul 11 02:52:01 2019
#
Accessible filesystems, by reference, are maintained under '/dev/disk'
See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=1114fe9e-2309-4580-b183-d778e6d97397 / ext4 defaults 1 1
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
[root@test ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Thu Jul 11 02:52:01 2019
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=1114fe9e-2309-4580-b183-d778e6d97397 / ext4 defaults 1 1
#获取目录名
[root@test ~]# echo /etc/fstab | sed -nr 's@^(.*)/([^/]+)/?$@\1@p'
/etc
#获取基名
[root@test ~]# echo /etc/fstab | sed -nr 's@^(.*)/([^/]+)/?$@\2@p'
fstab