sed基本用法

1案例1：sed基本用法

1.1问题

本案例要求熟悉sed命令p、d、s等常见操作，并结合正则表达式，完成以下任务：

• 删除文件中每行的第二个、最后一个字符
• 将文件中每行的第一个、第二个字符互换
• 删除文件中所有的数字
• 为文件中每个大写字母添加括号

1.2方案

sed文本处理工具的用法：

用法1：前置命令 | sed  [选项]  '条件指令'
用法2：sed  [选项]  '条件指令'  文件.. ..

相关说明如下：

• 条件可以是行号或者/正则/
• 没有条件时，默认为所有条件
• 指令是可以增、删、改、查等指令
• 默认sed会将所有输出的内容都打印出来，可以使用-n屏蔽默认输出
• 选项中可以使用-r选项，让sed支持扩展正则

1.3步骤

实现此案例需要按照如下步骤进行。

步骤一：认识sed工具的基本选项

sed命令的常用选项如下：

-n（屏蔽默认输出，默认sed会输出读取文档的全部内容）

-r（让sed支持扩展正则）

-i（sed直接修改源文件，默认sed只是通过内存临时修改文件，源文件无影响）

1）sed命令的-n选项

执行p打印等过滤操作时，希望看到的是符合条件的文本。但不使用任何选项时，默认会将原始文本一并输出，从而干扰过滤效果。比如，尝试用sed输出/etc/hosts的第1行：

[root@svr5 ~]# sed '1p' /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

可以发现所有的行都被显示出来了（第1行重复2次）。——正确的用法应该添加-n选项，这样就可以只显示第1行了：

[root@svr5 ~]# sed -n '1p' /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

行号可以是连续的行号，如打印passwd第3行到第6行账户的信息：

[root@svr5 ~]# sed  -n '3,6p' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

2）sed命令的-i选项

正常情况下，sed命令所做的处理只是把操作结果（包括打印、删除等）输出到当前终端屏幕，而并不会队原始文件做任何更改：

[root@svr5 ~]# sed 'd' /etc/passwd                      //删除所有行
[root@svr5 ~]# cat /etc/passwd                          //查看原始文本，并未改动

若希望直接修改文件内容，应添加选项-i。

比如，直接删除test.txt（自行创建一个任意内容的文件）的第1~4行：

[root@svr5 ~]# sed -i '1,4d' test.txt            //删除操作
[root@svr5 ~]# cat test.txt                      //确认删除结果

下文中关于使用sed修改文件的示例中，为了避免大家在练习过程中因失误操作导致系统故障，命令省略-i选项，不再逐一说明。需要时，大家可以自行加上此选项。

3）多个指令可以使用分号隔离

用分号来隔离多个操作，比如：

[root@svr5 ~]# sed -n '1p;4p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin

步骤二：认识sed工具的条件

#sed [选项] '条件指令' 文件.. ..

sed命令可以使用行号或正则作为条件匹配：

1）行号案例

打印第3行：

[root@svr5 ~]# sed -n '3p' /etc/passwd

打印第3到5行：

[root@svr5 ~]# sed -n '3,5p' /etc/passwd

打印第3和5行：

[root@svr5 ~]# sed -n '3p;5p' /etc/passwd

打印第3以及后面的10行：

[root@svr5 ~]# sed -n '3,+10p' /etc/passwd

打印奇数行：

[root@svr5 ~]# sed -n '1~2p' /etc/passwd

打印偶数行：

[root@svr5 ~]# sed -n '2~2p' /etc/passwd

2）正则案例

打印包含root的行：

[root@svr5 ~]# sed -n '/root/p' /etc/passwd

打印bash结尾的行：

[root@svr5 ~]# sed -n '/bash$/p' /etc/passwd

3）没有条件，则表示匹配所有行

[root@svr5 ~]# sed -n 'p' /etc/passwd

步骤三：sed工具的p、d、s操作指令案例集合

1）下面看看sed工具的p指令案例集锦（自己提前生成一个a.txt文件）

[root@svr5 ~]# sed  -n 'p' a.txt            //输出所有行，等同于cat a.txt
[root@svr5 ~]# sed  -n '4p' a.txt            //输出第4行
[root@svr5 ~]# sed  -n '4,7p' a.txt        //输出第4~7行
[root@svr5 ~]# sed  -n '4,+10p' a.txt        //输出第4行及其后的10行内容
[root@svr5 ~]# sed  -n '/^bin/p' a.txt        //输出以bin开头的行
[root@svr5 ~]# sed  -n '$=' a.txt            //输出文件的行数

2）下面看看sed工具的d指令案例集锦（自己提前生成一个a.txt文件）

[root@svr5 ~]# sed  '3,5d' a.txt             //删除第3~5行
[root@svr5 ~]# sed  '/xml/d' a.txt            //删除所有包含xml的行
[root@svr5 ~]# sed  '/xml/!d' a.txt         //删除不包含xml的行，!符号表示取反
[root@svr5 ~]# sed  '/^install/d' a.txt    //删除以install开头的行
[root@svr5 ~]# sed  '$d' a.txt                //删除文件的最后一行
[root@svr5 ~]# sed  '/^$/d' a.txt             //删除所有空行

3）sed命令的s替换基本功能（s/旧内容/新内容/选项）：

[root@svr5 ~]# vim  test.txt                //新建素材
2017 2011 2018
2017 2017 2024
2017 2017 2017
[root@svr5 ~]# sed 's/2017/xxxx/'           test.txt
[root@svr5 ~]# sed 's/2017/xxxx/g'          test.txt
[root@svr5 ~]# sed 's/2017/xxxx/2'          test.txt
[root@svr5 ~]# sed 's/2017//2'              test.txt
[root@svr5 ~]# sed -n 's/2017/xxxx/p'      test.txt

4）下面看看sed工具的s指令案例集锦（自己提前生成一个a.txt文件）

注意：替换操作的分隔"/"可改用其他字符，如#、&，便于修改文件路径

[root@svr5 ~]# sed 's/xml/XML/'  a.txt        //将每行中第一个xml替换为XML
[root@svr5 ~]# sed 's/xml/XML/3' a.txt     //将每行中的第3个xml替换为XML
[root@svr5 ~]# sed 's/xml/XML/g' a.txt     //将所有的xml都替换为XML
[root@svr5 ~]# sed 's/xml//g'     a.txt     //将所有的xml都删除（替换为空串）
[root@svr5 ~]# sed 's#/bin/bash#/sbin/sh#' a.txt  //将/bin/bash替换为/sbin/sh
[root@svr5 ~]# sed '4,7s/^/#/'   a.txt         //将第4~7行注释掉（行首加#号）
[root@svr5 ~]# sed 's/^#an/an/'  a.txt         //解除以#an开头的行的注释（去除行首的#号）

步骤四：利用sed完成本例要求的任务

参考数据文件内容如下：

[root@svr5 ~]# cat nssw.txt
Hello the world
ni hao ma beijing

本小节的操作使用nssw.txt文件作为测试文件

1）删除文件中每行的第二个、最后一个字符

分两次替换操作，第一次替换掉第2个字符，第二次替换掉最后一个字符：

[root@svr5 ~]# sed 's/.//2 ; s/.$//' nssw.txt 

2）将文件中每行的第一个、倒数第一个字符互换

每行文本拆分为“第一个字符”、“中间所有字符”、“倒数第一个字符”三个部分，然后通过替换操作重排序为“3-2-1”：

[root@svr5 ~]# sed -r 's/^(.)(.*)(.)$/\3\2\1/' nssw.txt

3）删除文件中所有数字

因原文件内没有数字，行首也没有空格，这里稍作已点处理，生成一新测试文件：

[root@svr5 ~]# sed 's/[0-9]//' nssw.txt

以nssw2.txt文件为例，删除所有数字、行首空格的操作如下：

[root@svr5 ~]# sed -r 's/[0-9]//g;s/^( )+//' nssw2.txt

4）为文件中每个大写字母添加括号

使用“()”可以实现保留功能，所以可参考下列操作解决：

[root@svr5 ~]# sed -r 's/([A-Z])/[\1]/g' nssw.txt