Linux基础篇–文本处理工具SED
本章内容概要
* Sed介绍
* Sed用法
* Sed高级用法
9.1 处理文本的工具sed
- sed:Stream EDitor, 行编辑器
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。然后读入下行,执行下一个循环。如果没有使诸如‘D’的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。 - 功能:主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
- 参考:http://www.gnu.org/software/sed/manual/sed.html
8.2 sed用法
- 用法:sed [option]… ‘script’ inputfile…
- 常用选项:
-n:不输出模式空间内容到屏幕,即不自动打印
-e:多点编辑
-f:/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
-r: 支持使用扩展正则表达式
-i.bak: 备份文件并原处编辑
示例:
[root@centos7 ~]#sed -n -e '/root/p' -e '/yuan/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
yuan:x:1000:1000:yuan:/home/yuan:/bin/bash
[root@centos7 data]#cat f1.sh
s/[[:alpha:]]/\u&/g
#该脚本是将文件中所有字母变为大写
[root@centos7 data]#sed -r -f f1.sh /etc/issue
\S
KERNEL \R ON AN \M
‘script’:
’地址命令’
注意:地址和命令分为两部分来看
* 地址定界:定义要搜索的模式空间的内容
(1) 不给地址:对全文进行处理
(2) 单地址:
#: 指定的行,$:最后一行
/pattern/:被此处模式所能够匹配到的每一行
示例:
[root@centos7 ~]#cat -n /etc/passwd | sed -n '2p'
2 bin:x:1:1:bin:/bin:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd | sed -n '$p'
43 yuan:x:1000:1000:yuan:/home/yuan:/bin/bash
[root@centos7 ~]#cat -n /etc/passwd | sed -n '/root/p'
1 root:x:0:0:root:/root:/bin/bash
10 operator:x:11:0:operator:/root:/sbin/nologin
(3) 地址范围:
#,#
#,+#
/pat1/,/pat2/
#,/pat1/
示例:
[root@centos7 ~]#cat -n /etc/passwd | sed -n '2,4p'
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd | sed -n '2,+3p'
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@centos7 ~]#sed -n '/root/,/^f/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd | sed -n '5,/root/p'
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
(4) ~:步进
1~2 奇数行
2~2 偶数行
示例:
[root@centos7 ~]#cat -n /etc/passwd |sed -n '1~2p'
1 root:x:0:0:root:/root:/bin/bash
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
15 dbus:x:81:81:System message bus:/:/sbin/nologin
17 sssd:x:998:996:User for sssd:/:/sbin/nologin
19 rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd |sed -n '2~2p'
2 bin:x:1:1:bin:/bin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
8 halt:x:7:0:halt:/sbin:/sbin/halt
10 operator:x:11:0:operator:/root:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
练习:
1、获取ip地址
ifconfig ens33 |sed -n '/\<inet\>/p'
2、显示分区利用率
df |sed -n '/^\/dev\/sd/p'
- 编辑命令:对地址界定的内容用命令做处理
d 删除模式空间匹配的行,并立即启用下一轮循环
p 打印当前模式空间内容,追加到默认输出之后
a [\]text 在指定行后面追加文本,支持使用\n实现多行追加
i [\]text 在行前面插入文本
c [\]text 替换行为单行或多行文本
w /path/file 保存模式匹配的行至指定文件
r /path/file 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
示例:
[root@centos7 data]#cat -n /etc/passwd | sed '2d'
1 ROOT:x:0:0:root:/root:/bin/bash
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
[root@centos7 data]#cat -n /etc/passwd | sed '2p'
1 ROOT:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
[root@centos7 ~]#sed '/root/a\123\n123' /etc/passwd
root:x:0:0:root:/root:/bin/bash
123
123
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd |sed '/root/i\1234'
1234
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd |sed '/root/c\1234'
1234
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd |sed '/root/r /etc/issue'
1 root:x:0:0:root:/root:/bin/bash
\S
Kernel \r on an \m
2 bin:x:1:1:bin:/bin:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd |sed '/root/w /etc/issue'
[root@centos7 ~]#cat /etc/issue
1 root:x:0:0:root:/root:/bin/bash
[root@centos7 ~]#sed -n '/root/=' /etc/passwd
1
[root@centos7 ~]#cat -n /etc/passwd |sed -n '/root/!p'
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
注意事项:
sed ‘2-2da\ newline’
注意:a后面加,指a\之后都是追加的内容,newline前的空格也会被加上
示例:
[root@centos7 data]#cat -n /etc/passwd |sed '1,20anewline'
1 root:x:0:0:root:/root:/bin/bash
newline
2 bin:x:1:1:bin:/bin:/sbin/nologin
newline
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
newline
[root@centos7 data]#cat -n /etc/passwd |sed '1,20a\ newline'
1 root:x:0:0:root:/root:/bin/bash
newline
2 bin:x:1:1:bin:/bin:/sbin/nologin
newline
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
newline
- s///查找替换,支持使用其它分隔符,s@@@,s###
- 替换标记:
g 行内全局替换
p 显示替换成功的行
w /PATH/FILE将替换成功的行保存至文件中
示例:
[root@centos7 ~]#sed 's/root/ROOT/g' /etc/passwd
ROOT:x:0:0:ROOT:/ROOT:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
练习:
使用sed命令,在/etc/default/(centos7)grub目录中GRUB_CMDLINE_LINUX=”rhgb quiet”行后添加 net.ifname=0
参考答案:
sed -r 's/(^.*quiet.*)"/\1 net.ifname=0"/' /etc/default/grub
或sed -r 's/(LINUX.*)"/\1 net.ifname=0"/' /etc/default/grub
或sed -r '/LINUX/s/"$/ net.ifname=0"/' /etc/default/grub
使用sed命令,获取ip地址(centos7)
ifconfig ens33 |sed -nr '2s/(^.*inet)(.*)(netmask.*$)/\2/p'
或ifconfig ens33 |sed -n '2p'|sed 's/^.*inet//' |sed 's/netmask.*//'
或ifconfig ens33 |sed -n '2p'|sed -e 's/^.*inet//' -e 's/netmask.*//'
或ifconfig ens33 | sed '2!d;s/^.*inet//;s/netmask.*//'
使用sed命令,取/etc/sysconfig/network-script/的基名
echo "/etc/sysconfig/network-script/" |sed -r 's#(^.*/)([^/]+/?$)#\2#'
使用sed命令,把/etc/httpd/conf/httpd.conf文件中
#<VirtualHost *:80>
# ServerAdmin webmaster@dummy-host.example.com
# DocumentRoot /www/docs/dummy-host.example.com
# ServerName dummy-host.example.com
# ErrorLog logs/dummy-host.example.com-error_log
# CustomLog logs/dummy-host.example.com-access_log common
#</VirtualHost>
参考答案:
sed' /^#<VirtualHost/,/^#<\/VirtualHost>/s/#//' /etc/httpd/conf/httpd.conf
使用sed命令,在/etc/fstab目录中不以#号开头的行前面加上#号
sed -r 's/(^[^#].*)/#\1/' /etc/fstab
在非#号开头行前加上#号
或sed -r 's/^([^#])/#\1/' /etc/fstab
在非#号[^#]开头的行,以#号代替[^#]
或sed 's/^[^#]/#&/' /etc/fstab
其中,&表示模式匹配的内容是什么,&就代表什么
把/etc/fstab中的字母全部变为大写
sed -r 's/[[:alpha:]]/\u&/g' /etc/fstab
\u 转换为大写
\l 转换为小写
sed -f 可以调用脚本
将s/[[:alpha:]]/\u&/g写入脚本sed.script,使用sed命令调用该脚本可直接将文件改为大写
如:sed -r -f sed.script /etc/fstab
对某目录下文件加上随机数后缀
ls |sed "s/.*/&_$RANDOM/"
或ls |sed 's/.*/&_'''$RANDOM'''/'
在sed查找替换中引用变量,要” “或使用三个单引号把变量括起来
如 “s//
变量/"或s//′′′
变
量
/
"
或
s
/
/
‴
变量”’/
删除文件中所有空行和以#开头(即注释)的行
sed '/^$/d;/^[ ]*#/d' file
注意:编辑命令写在模式匹配之后,而不是在模式(即//)里面
获取光盘镜像文件中rpm的cpu架构(如x86_64)分别是多少
ls /misc/cd/Packages/| sed -r 's/.*\.([^.]+)\.rpm/\1/' |sort|uniq -c
8.3 sed高级编辑命令
P:打印模式空间开端至\n内容,并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G:从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N:读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D:如果模式空间包含换行符,则删除直到第一个换行符的模式空间中的文本,并不会读取新的输入行,而使用合成的模式空间重新启动循环。如果模式空间不包含换行符,则会像发出d命令那样启动正常的新循环
高级用法示例:
创建f1文件
[root@centos7 ~]#seq 1 6 >f1
[root@centos7 ~]#cat f1
1
2
3
4
5
6
sed-n ‘n;p’ FILE
[root@centos7 ~]#sed -n 'n;p' f1
2
4
6
sed ‘1!G;h;$!d’ FILE
[root@centos7 ~]#sed '1!G;h;$!d' f1
6
5
4
3
2
1
sed ‘N;D’ FILE
[root@centos7 ~]#sed 'N;D' f1
6
sed ‘ !N; ! N ; !D’ FILE
[root@centos7 ~]#sed '$!N;$!D' f1
5
6
sed ‘$!d’ FILE
[root@centos7 ~]#sed '$!d' f1
6
练习:
1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
cat /etc/grub2.cfg |sed -r '/^[[:space:]]+/d'
2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符
sed -r 's/(^#[[:space:]]+)(.*)/\2/' /etc/fstab
3、在centos6系统/root/install.log每一行行首增加#号
cat /root/install.log|sed -r 's/(^.*)/#\1/'
4、在/etc/fstab文件中不以#开头的行的行首增加#号
cat /etc/fstab |sed -r 's/^([^#])/#\1/'
或cat /etc/fstab |sed -r 's/^[^#]/#&/'
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
sed -r 's/^([^#])/#\1/' /etc/fstab
或sed -r 's/^[^#]/#&/' /etc/fstab
6、利用sed取出ifconfig命令中本机的IPv4地址
centos7系统:
ifconfig ens33 |sed -n '2p'|sed -r 's/(^.*inet)(.*)(netmask.*)/\2/'
centos6系统:
ifconfig eth0 |sed -n '2p'|sed -r 's/(^.*inet addr:)(.*)(Bcast.*)/\2/'
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
ls /misc/cd/Packages/ |sed -r 's/.*\.([^.]+)\.rpm$/\1/'|sort|uniq -c
8、统计/etc/init.d/functions文件中每个单词的出现次数,并排序(用grep和sed两种方法分别实现)
cat /etc/init.d/functions |egrep -o "\<[[:alpha:]]+\>"|sort|uniq -c|sort -nr
或sed -r 's/[^[:alpha:]]/\n/g' /etc/init.d/functions |sort|uniq -c|sort -nr
思路:取反,把除了单词外的字符换成换行符\n
9、将文本文件的n和n+1行合并为一行,n为奇数行
cat -n /etc/passwd |sed -n '1~2p;N'