文本处理三剑客
sed命令
文本处理三剑客:
- grep, egrep, fgrep:文本过滤器
- sed:Stream EDitor,流编辑器,行
awk:文本格式化工具,报告生成器
命令使用格式
sed [OPTION]... 'script' [input-file] ...
script : 地址定界编辑命令
常用选项
-n
:不输出模式空间中的内容至屏幕;
多点编辑 :就是在sed后面可以使用多次-e
: script, --expression=script:多点编辑;-e
选项,以便多次添加脚本-f
: /PATH/TO/SED_SCRIPT_FILE 每行一个编辑命令;-r
: --regexp-extended:支持使用扩展正则表达式;-i
:[SUFFIX], --in-place[=SUFFIX]:直接编辑原文件 ;
~]# sed -e 's@^#[[:space:]]*@@' -e '/^UUID/d' /etc/fstab
地址定界:
空地址
:对全文进行处理;单地址
#
:指定行;/pattern/
:被此模式所匹配到的每一行;
地址范围
#,#
:第一行到第几行#,+#
:从第几行删除到第几行的后几行#,/pat1/
:/pat1/,/pat2/
$
:最后一行;
步进
:~1~2
:所有奇数行2~2
:所有偶数行
[root@server xuelong]# sed '12d' fstab
[root@server xuelong]# sed '/^#/d' fstab
[root@server xuelong]# sed '10,+2d' fstab | cat -n
[root@server xuelong]# sed '3,/^#/d' fstab
[root@server xuelong]# sed '1,2d' fstab
[root@server xuelong]# sed '$d' fstab
[root@server xuelong]# sed '1~2d' fstab #删除奇数行,显示偶数行
[root@server xuelong]# sed '2~2d' fstab
编辑命令:
d
:删除模式匹配空间的内容
[root@server xuelong]# sed '1,5d' /etc/fstab #删除模式匹配空间中的第一行到第五行
p
:显示模式空间中的内容;
[root@server xuelong]# sed '2~2p' fstab
#
#
# /etc/fstab
# Created by anaconda on Sun Aug 13 16:12:46 2017
# Created by anaconda on Sun Aug 13 16:12:46 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
#
UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
[root@server xuelong]# sed -n '2~2p' fstab
#
# Created by anaconda on Sun Aug 13 16:12:46 2017
# Accessible filesystems, by reference, are maintained under '/dev/disk'
#
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
a \text
:在行后面追加文本“text”,支持使用\n实现多行追加;
[root@server xuelong]# sed '12a \mervin\n\mervin' fstab | cat -n
1
2 #
3 # /etc/fstab
4 # Created by anaconda on Sun Aug 13 16:12:46 2017
5 #
6 # Accessible filesystems, by reference, are maintained under '/dev/disk'
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8 #
9 UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
10 UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
11 UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
12 UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
13 mervin
14 mervin
i \text
:在行前面插入文本“text”,支持使用\n实现多行插入
[root@server xuelong]# sed '12i \mervin\n\mervin' fstab | cat -n
1
2 #
3 # /etc/fstab
4 # Created by anaconda on Sun Aug 13 16:12:46 2017
5 #
6 # Accessible filesystems, by reference, are maintained under '/dev/disk'
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8 #
9 UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
10 UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
11 UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
12 mervin
13 mervin
14 UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
c \text
:把匹配到的行替换为此处指定的文本“text”
[root@server xuelong]# sed '12c \mervin' fstab | cat -n
1
2 #
3 # /etc/fstab
4 # Created by anaconda on Sun Aug 13 16:12:46 2017
5 #
6 # Accessible filesystems, by reference, are maintained under '/dev/disk'
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8 #
9 UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
10 UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
11 UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
12 mervin
w /PATH/TO/SOMEFILE
:保存模式空间匹配到的行至指定的文件中
[root@server xuelong]# sed '12w /home/xuelong/sed.file' fstab
#
# /etc/fstab
# Created by anaconda on Sun Aug 13 16:12:46 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
[root@server xuelong]# cat sed.file
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
r /PATH/FROM/SOMEFILE
:读取指定文件的内容至当前文件被模式匹配到的行后面;文件合并;
[root@server xuelong]# sed '4r /home/xuelong/sed.file' fstab
#
# /etc/fstab
# Created by anaconda on Sun Aug 13 16:12:46 2017
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
=
:为模式匹配到的行打印行号;
[root@server xuelong]# sed '2~2=' fstab | cat -n
1
2 2
3 #
4 # /etc/fstab
5 4
6 # Created by anaconda on Sun Aug 13 16:12:46 2017
7 #
8 6
9 # Accessible filesystems, by reference, are maintained under '/dev/disk'
10 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
11 8
12 #
13 UUID=d1b6adf3-7bb3-46bd-b782-f7f90544f668 / xfs defaults 0 0
14 10
15 UUID=90427d66-ad32-478d-b7ab-da157c7e12bf /boot xfs defaults 0 0
16 UUID=3521943b-306e-46bc-858d-33356c4fd37d /home xfs defaults 0 0
17 12
18 UUID=be58144f-da5a-49ab-903d-aa87a2ba7d0a swap swap defaults 0 0
!
:条件取反;
注意 顺序为:地址定界!编辑命令;s///
:查找替换,其分隔符可自行指定,常用的有s@@@, s###等;- 替换标记:
- g:全局替换;
- w /PATH/TO/SOMEFILE:将替换成功的结果保存至指定文件中;
- p:显示替换成功的行;
- 替换标记:
练习1:删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符
~]# sed 's@^[[:space:]]\+@@' /etc/grub2.cfg
练习2:删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符
~]# sed 's@^#[[:space:]]*@@' /etc/fstab
练习3:输出一个绝对路径给sed命令,取出其目录,其行为类似于dirname
~]# echo "/var/log/messages/" | sed 's@[^/]\+/\?$@@'
~]# echo "/var/log/messages" | sed -r 's@[^/]+/?$@@'
高级编辑命令(不要求完全掌握)
- h:把模式空间中的内容覆盖至保持空间中;
- H:把模式空间中的内容追加至保持空间中;
- g:把保持空间中的内容覆盖至模式空间中;
- G:把保持空间中的内容追加至模式空间中;
- x:把模式空间中的内容与保持空间中的内容互换;
- n:覆盖读取匹配到的行的下一行至模式空间中;
- N:追加读取匹配到的行的下一行至模式空间中;
- d:删除模式空间中的行;
- D:删除多行模式空间中的所有行;
示例
sed -n 'n;p' FILE:显示偶数行;
sed '1!G;h;$!d' FILE:逆序显示文件的内容;
sed ’$!d' FILE:取出最后一行;
sed '$!N;$!D' FILE:取出文件后两行;
sed '/^$/d;G' FILE:删除原有的所有空白行,而后为所有的非空白行后添加一个空白行;
sed 'n;d' FILE:显示奇数行;
sed 'G' FILE:在原有的每行后方添加一个空白行;
博客作业:sed的用法
写一个脚本完成下列功能:
实战:判断主机名,如果不是linux-magedu,将主机名修改为magedu.com-IP,并永久生效。
(提示:IP可通过ifconfig获取,并进行文本处理后获取)
(实例:IP:172.18.100.1 主机名为local.host,修改后的主机名为:magedu.com-172.18.100.1)
提示步骤:
1、IP的获取
2、主机名的判断
3、通过命令修改hostname。
4、通过sed修改/etc/hostname文件