文本处理三剑客:
grep, egrep, fgrep:文本过滤器
sed:Stream EDitor,流编辑器,行
awk:文本格式化工具,报告生成器
sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间” (pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。
sed命令格式
sed [OPTION]... 'script' [input-file] ...
script:地址定界编辑命令
常用选项(OPTION):
-n:不输出模式空间中的内容至屏幕;
-e script, --expression=script:多点编辑;
-f /PATH/TO/SED_SCRIPT_FILE
每行一个编辑命令;
-r, --regexp-extended:支持使用扩展正则表达式;
-i[SUFFIX], --in-place[=SUFFIX]:直接编辑原文件 ;
~]# sed -e 's@^#[[:space:]]*@@' -e '/^UUID/d' /etc/fstab
地址定界(script):
(1) 空地址:对全文进行处理;
(2) 单地址:
#:指定行;
/pattern/:被此模式所匹配到的每一行;
(3) 地址范围
#,#:
#,+#:
#,/pat1/
/pat1/,/pat2/
$:最后一行;
(4) 步进:~
1~2:所有奇数行
2~2:所有偶数行
编辑命令:
d:删除;
p:显示模式空间中的内容;
a \text:在行后面追加文本“text”,支持使用\n实现多行追加;
i \text:在行前面插入文本“text”,支持使用\n实现多行插入;
c \text:把匹配到的行替换为此处指定的文本“text”;
w /PATH/TO/SOMEFILE:保存模式空间匹配到的行至指定的文件中;
r /PATH/FROM/SOMEFILE:读取指定文件的内容至当前文件被模式匹配到的行后面;文件合并;
=:为模式匹配到的行打印行号;
!:条件取反;
地址定界!编辑命令;
s/*/*/*:查找替换,其分隔符可自行指定,常用的有s@@@, s###等;
替换标记:
g:全局替换;
w /PATH/TO/SOMEFILE:将替换成功的结果保存至指定文件中;
p:显示替换成功的行;
举例:(将/etc/fstab文件cp到/tmp/fstab下)
删除某行
[root@bogon ~]# sed '1d' /tmp/fstab #删除第一行
[root@bogon ~]# sed '$d' /tmp/fstab #删除最后一行
[root@bogon ~]# sed '1,2d' /tmp/fstab #删除第一行到第二行
[root@bogon ~]# sed '/boot/d' /etc/fstab #删除包含boot字符串的行
显示某行
[root@bogon ~]# sed -n '6p' /tmp/fstab #显示第6行
这里要加上-n选项,否则模式空间里的内容为文件的全部内容,默认也会输出。
[root@bogon ~]# sed -n '2,$p' /tmp/fstab #显示第二行到最后一行
使用模式进行查询
[root@bogon ~]# sed -n '/^#/p' /tmp/fstab #查询以#开头的行并输出
文本插入、替换
文本插入
[root@bogon ~]# sed '/^#/a \this test' /tmp/fstab
a \text:在行后面追加文本“text”,支持使用\n实现多行追加;
[root@bogon ~]# sed '/^#/i \this test' /tmp/fstab
i \text:在行前面插入文本“text”,支持使用\n实现多行插入
行替换
[root@bogon ~]# sed '/^#/c\*' /tmp/fstab
将以#开头的行替换为*
[root@bogon ~]# sed -n '/^#/w/tmp/sed.txt' /tmp/fstab
保存模式空间匹配到的行至指定的文件中。将以#开头的行保存到/tmp/sed.txt中
文件合并(读取指定文件的内容至当前文件被模式匹配到的行后面)
[root@bogon ~]# sed '/^#/ r ./abc.txt' /tmp/fstab
将以#号开头的行后面分别加上abc.txt文件里的内容
为模式匹配到的行打印行号
[root@bogon ~]# sed '/^#/=' /tmp/fstab
文本查找与替换
[root@bogon ~]# sed 's@#@*@g' /tmp/fstab
将#替换为*。文本字符串替换
[root@bogon ~]# sed 's@#@*@w abc.txt' /tmp/fstab
将符合替换条件的行写入到文本中
[root@bogon ~]# sed 's@UUID@uuid@g' /tmp/fstab
将UUID替换为uuid
练习1:删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符;
[root@bogon ~]#sed 's@^[[:space:]]\+@@' /etc/grub2.cfg
练习2:删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符;
[root@bogon ~]# sed 's@^#[[:space:]]*@@' /etc/fstab
练习3:输出一个绝对路径给sed命令,取出其目录,其行为类似于dirname;
[root@bogon ~]# echo "/var/log/messages/" | sed 's@[^/]\+/\?$@@' [root@bogon ~]# echo "/var/log/messages" | sed -r 's@[^/]+/?$@@'
------------------------------------------高级进阶-----------------------------------------
高级编辑命令:
h:把模式空间中的内容覆盖至保持空间中;
H:把模式空间中的内容追加至保持空间中;
g:把保持空间中的内容覆盖至模式空间中;
G:把保持空间中的内容追加至模式空间中;
x:把模式空间中的内容与保持空间中的内容互换;
n:覆盖读取匹配到的行的下一行至模式空间中;
N:追加读取匹配到的行的下一行至模式空间中;
d:删除模式空间中的行;
D:删除多行模式空间中的所有行;
示例:
sed -n 'n;p' FILE:显示偶数行;
sed '1!G;h;$!d' FILE:逆序显示文件的内容;
sed ’$!d' FILE:取出最后一行;
sed '$!N;$!D' FILE:取出文件后两行;
sed '/^$/d;G' FILE:删除原有的所有空白行,而后为所有的非空白行后添加一个空白行;
sed 'n;d' FILE:显示奇数行;
sed 'G' FILE:在原有的每行后方添加一个空白行;
本文出自 “我的学习笔记” 博客,请务必保留此出处http://zhaoyongtao.blog.51cto.com/10955972/1754663