-
文本处理三剑客:sed
- grep,egrep,fgrep:文本过滤器
- sed:Stream EDitor,行编辑器
- awk:文本格式化工具,报告生成器
- sed是一种流的编辑器,它一次处理一行内容,处理时当前处理的行存储在临时缓冲区中,称之为"模式空间"(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.接着处理下一行,这样不断重复,直到文件末尾.文件内容并没有改变,除非使用重定向存储输出,或者加选项.sed主要用来自动编辑一个或者多个文件,简化对文件的反复操作,编写转换程序等等.
-
sed
- [option]....'script'[input-file]..
-
常用选项:
- -n:不输出模式空间中的内容至屏幕;(默认自动打印,-n则表示只打印模式所指定的)
- -e script, --expression=script:多点编辑;
- -f /PATH/TO/SED_SCRIPT_FILE 从指定文件中读取编辑脚本
- -r--regexp-extended:支持使用扩展正则表达式:
- -i[SUFFIX],--in-place[=SUFFIX]:直接编辑源文件;一般加.bak(自己指定)意思修改前备份
- sed -i '/^UUID/d' fstab 删除所有以UUID开头的行
- sed -i.bak '2d' f1 删除时顺便备份
- script: '地址命令'
- 地址定界编辑命令:
- 1 . 空地址(不给地址):对全文的进行处理;
- 2 . 单地址:
- #:指定行;
- /pattern/:被此模式所匹配到的每一行;
- [root@up ~]# sed -n '/^root/p' /etc/passwd
- root:x:0:0:root:/root:/bin/bash
- 3,地址范围
- #,#:
- #,+#:
- #,/pat1/
- /pat1/,pat2/
- [root@up ~]# sed -n '2,3p' /etc/passwd
- bin:x:1:1:bin:/bin:/sbin/nologin
- daemon:x:2:2:daemon:/sbin:/sbin/nologin
- [root@up ~]# sed -n '1,+1p' /etc/passwd
- root:x:0:0:root:/root:/bin/bash
- bin:x:1:1:bin:/bin:/sbin/nologin
- sed -n '/^r/,/^a/p' /etc/passwd
- 匹配r开头开始到a开头所有行
- sed -n '/10/,/^a/p' /etc/passwd
- 匹配到第10行到第一个匹配a开头的之间行
- sed命令默认需要标准输入,也可用于文本筛选
- [root@up ~]# cat /etc/passwd |sed -n "5p"
- lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
- [root@up ~]# seq 10 | sed -n "2p"
- 2
- 4,步进;
- 1~2所有奇数行
- 2~2所有偶数行
- seq 10 |sed -n '1~2p' 取奇数行
- seq 10 |sed '2~2d'
- seq 10 |sed -n '2~2p' 取偶数行
- seq 10 |sed '1~2d'
-
sed编辑命令使用:
- d:删除模式所匹配到的行
- [root@up ~]# seq 10 |sed '1~2d'
- 2
- 4
- p:显示模式所匹配到的行
- a\text:在行后面追加文本"text",支持使用\n实现多行追加;
- [root@up ~]# seq 10 |sed '1~2a 0000000'
- 1
- 0000000
- 在所有奇数行后加00000
- i \text:在行前面插入文本"text",支持使用\n实现多行插入;
- [root@up ~]# seq 10 |sed '1,2i\ 0000000'
- 0000000
- 1
- 0000000
- 2
- 加\可调整所加文本\n多行加入
- c\text:把匹配到的行替换为此处指定的文本"text"
- w/PATH/TO/SOMFILE:保存模式空间匹配到的行至指定文件中;
- [root@up ~]# seq 10 |sed -n '1,2w pp'
- [root@up ~]# cat pp
- 1
- 2
- r/PATH/TO/SOMFILE:读取指定文件内容至当前被模式匹配到的行后面;合并文件;
- [root@up ~]# seq 10 |sed '2,3r /etc/issue'
- 1
- 2
- CentOS release 6.8 (Final)
- Kernel \r on an \m
- 3
- CentOS release 6.8 (Final)
- Kernel \r on an \m
- =:为模式匹配到的行打印行号;
- [root@up ~]# sed '2,3=' /etc/passwd
- root:x:0:0:root:/root:/bin/bash
- 2
- bin:x:1:1:bin:/bin:/sbin/nologin
- 3
- daemon:x:2:2:daemon:/sbin:/sbin/nologin
- !:条件取反;
- [root@up ~]# seq 10 |sed -n '2,8!p'
- 1
- 9
- 10
-
s///:查找替换,其分隔符可自行指定,常用的由s@@@,s###等;
- 替换标记:
- g:全局替换;
- [root@up ~]# sed 's/root/ROOT/g' /etc/passwd
- ROOT:x:0:0:ROOT:/ROOT:/bin/bash
- w/PATH/TO/SOMFILE:将替换成功的结果保存至指定文件中;
- [root@up ~]# sed -n 's/root/ROOT/gw oo' /etc/passwd
- [root@up ~]# cat oo
- ROOT:x:0:0:ROOT:/ROOT:/bin/bash
- operator:x:11:0:operator:/ROOT:/sbin/nologin
- p:显示替换成功的行;
- [root@up ~]# sed -n 's/root/ROOT/gp' /etc/passwd
- ROOT:x:0:0:ROOT:/ROOT:/bin/bash
- operator:x:11:0:operator:/ROOT:/sbin/nologin
- 练习:1删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符;
- sed 's@^[[:space:]]\+@@' /etc/grub2.cfg
- 2,删除/etc/fstab文件中所有已#开头的行的行首的#号及后面的所有空白字符;
- sed 's@^[[:space:]]*@@' /etc/fstab
- sed -e 's@^#[[:space:]]*@@' -e '/^UUID/d' /etc/fstab
- 3,输出一个绝对路径给sed命令,取出其目录,其行为类似于dirname;
- echo "/var/log/messages" |sed 's@[^/]\+$@@'
- echo "/var/log/messages" |sed 's@[^/]\+/\?$@@'
- echo "/var/log/messages" |sed -r 's@[^/]+/?$@@'
- /var/log/
- 高级编辑命令:
- h :把模式空间中的内容覆盖至保持空间中;
- H:把模式空间中的内容追加至保持空间中;
- g:把保持空间中的内容覆盖至模式空间中;
- G:把保持空间中的内容追加至模式空间中;
- x:把模式空间中的内容与保持空间中的内容互换'
- n:覆盖读取匹配到的行的下一行至模式空间中;
- N:追加读取匹配到的行的下一行至模式空间中;
- d:删除模式空间的行;
- D:删除多行模式空间中的所有行;
- hold space 保持空间 用于临时存放未处理完的待处理的.
- 高级简单示例:
- sed -n 'n;p'FILE:显示偶数行;
- [root@up ~]# seq 10 |sed -n 'n;p'
- 2
- 4
- sed '1!G;h;$!d' FILE:逆序显示文件内容;
- [root@up ~]# seq 10 |sed '1!G;h;$!d'
- 10
- 9
- sed '$!d' FILE:取出最后一行
- [root@up ~]# seq 10 |sed '$!d'
- 10
- sed '$!N;$!D' FILE :取出文件最后两行;
- [root@up ~]# seq 10 |sed '$!N;$!D'
- 9
- 10
- sed'n;d' FILE :显示奇数行
- [root@up ~]# seq 10 |sed 'n;d'
- 1
- 3
- 取出IP地址
- [root@up ~]# ifconfig eth2|sed '2!d;s/^.*r://;s/ .*//'
- 192.168.174.129