shell之三剑客sed命令

一、sed简介

• sed（stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换，添加、移动等），最后输出所有行或仅输出处理的某些行。

• sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于shell脚本中，用以完成各种自动化处理任务。

sed的工作流程主要包括读取、执行和显示三个过程

• 读取： sed从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区（又称模式空间）
• 执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有行上一次执行。
• 显示： 发送修改后的内容到输出流，在发送数据后，模式空间将会被清空。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的sed命令，都是在模式空间内执行的，因此输入的文件并不会发生变化。

二、sed(格式)选项操作解释

通常情况下调用sed命令有两种格式。

• 其中，“参数”是指操作的目标文件，当存在多个操作对象时，文件之间用逗号分隔。

  sed [选项]  '操作' 参数
  

• 而scriptfile 表示脚本文件，需要用“-f”选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

  sed [选项]   -f  scriptfile  参数
  

1、常见的选项

选项	功能
-e	表示用指定命令或者脚本来处理输入的文本文件
-f	表示用指定的脚本文件来处理输入的文本文件
-h	显示帮助
-n	表示仅显示处理后的结果
-i	直接编辑文本文件
-r或-E	使用扩展正则表达式
-s	将多个文件视为独立文件，而不是单个连续的长文件流

2、操作指令

“操作”用于指定文件对操作的动作行为，也就是sed的命令。

通常情况下是采用的 “[n1[,n2]]” 操作参数的格式。n1、n2是可选的，代表选择进行操作的行数，如操作需要在5~20行之间进行，则表示为 “5,20 动作行为” 。

选项	功能
a	增加，在当前行下面增加一行指定内容
i	插入，在选定行上面插入一行指定内容
c	替换，将选定行替换为指定内容
s	替换，替换指定的字符串
y	字符替换（字符一一替换）
p	打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容，如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
d	删除，删除选定的行

三、sed选项案例

1、使用 【-n】仅显示处理后的结果

前面我们了解到，sed在处理文件时，会将处理的内容放入到缓冲区（模式空间）中进行处理，然后在模式空间中对内容进行（增删改查）最后以标准输出的形式将内容输出出来。

看下面的案例

由上面的案例可以看到，原始文件以及我们需要查看的行都被打印了出来。（这里加了p动作，表示打印此行）

这里的工作原理就是：sed从标准输入中读取hahah.txt文件的内容到缓冲区中，然后再在缓冲区中对3p进行打印，最后不仅将第3行打印，也将源文件打印。

这个时候我们可以加上-n选项，-n选项的意思就是，仅显示处理后的结果；原理就是，文件内容被标准输入到缓冲空间后，sed通过设定的选项知道了，需要输出哪些内容，仅输出处理的行。所以-n选项通常和p动作放在一起使用。

2、使用【-e】设置多个命令

sed命令可以不只包含一个命令。如果要包含多个命令，只需要每个命令前加上一个-e选项即可。

注意：-e选项的后面要接命令内容，不允许再夹杂其它选项

3、使用【-f】文件编辑

使用sed脚本将多个编辑指令存放到文件中（每行一条编辑指定），然后通过 -f 选项 来调用。

例如执行一下命令即可将第1~5行内容转移至第15行后。

将命令放在文件中，然后使用-f 进行调用一一执行

4、使用【-i】进行修改配置文件

我们都知道，可以使用vim进行直接打开文件进行编辑，但是在自动化中，是没办法进行参与到修改的，都是一件部署完成，所以都需要提前设定好修改的文件内容。

这里可以使用 -i 选项进行直接修改到文件中的内容，是源文件进行生效。

四、sed操作案例

1、操作【p】输出指定行

1.1 sed输出指定行

[root@localhost ~]# sed -n '3p' test.txt	//输出第 3 行
[root@localhost ~]# sed -n '3,5p' test.txt	//输出 3~5 行
[root@localhost ~]# sed -n 'p;n' test.txt	//输出所有奇数行,n 表示读入下一行资料
[root@localhost ~]# sed -n 'n;p' test.txt	//输出所有偶数行,n 表示读入下一行资料
[root@localhost ~]# sed -n '1,5{p;n}' test.txt //输出第 1~5 行之间的奇数行(第 1、3、5 行) 
[root@localhost ~]# sed -n '10,${n;p}' test.txt	//输出第 10 行至文件尾之间的偶数行

案例1：输入文件所有行，等同于cat

案例2：输入第3行

案例3：输出3-5行

案例4：输出所有的奇数行，n表示读入下一行资料

案例6：输出低1-5行之间的奇数行

案例7：输出第10行至文件尾之间的行

1.2 sed 命令结合正则输出指定行

sed命令结合正则表达式，格式略有不同，正则表达式以“ / ” 包围。

[root@localhost ~]# sed -n '/the/p' test.txt	//输出包含the 的行

[root@localhost ~]# sed -n '4,/the/p' test.txt  //输出从第 4 行至最后一个包含 the 的行

 [root@localhost ~]# sed -n '/the/=' test.txt     //输出包含the 的行所在的行号,等号(=)用来输出行号
[root@localhost ~]# sed -n '/^PI/p' test.txt	   //输出以PI 开头的行
[root@localhost ~]# sed -n '/[0-9]$/p' test.txt	   //输出以数字结尾的行
[root@localhost ~]# sed -n '/\<wood\>/p' test.txt    //输出包含单词wood 的行,\<、\>代表单词边界

案例1：输出包含the的行

案例2：输出从第2 行至第一个包含 the 的行

案例3：输出包含the 的行所在的行号,等号(=)用来输出行号

案例4：输出以PI 开头的行

案例5：输出包含单词wood 的行,<、>代表单词边界

案例6：输出空行和非空行

2、操作【d】删除指定行

nl 文件名
可以输出文件内容加上行号

[root@localhost ~]# nl test.txt | sed '3d'	//删除第 3 行


[root@localhost ~]# nl test.txt | sed '3,5d'	//删除第 3~5 行

[root@localhost ~]# nl test.txt |sed '/cross/d'
//删除包含 cross 的行,原本的第 8 行被删除；如果要删除不包含 cross 的行,用!符号表示取反操作, 如'/cross/！d'

[root@localhost ~]# sed '/^[a-z]/d' test.txt	//删除以小写字母开头的行

[root@localhost ~]# sed '/\.$/d' test.txt	//删除以"."结尾的行 

[root@localhost ~]# sed '/^$/d' test.txt	//删除所有空行

案例1：删除第 3 行

案例2：删除第 3~5 行

案例3：删除包含 cross 的行,原本的第 8 行被删除；如果要删除不包含 cross 的行,用!符号表示取反操作, 如’/cross/！d’

案例4：删除以大小写字母开头的行

案例5：删除以"."结尾的行

案例6：删除所有空行

• 从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。

3、操作【s】替换符合条件的文件

在使用sed命令进行替换操作时需要用到s（字符串替换）、c（整行/整块替换）、y（字符转换）。

sed 's/the/THE/' test.txt	//将每行中的第一个the 替换为 THE
sed 's/l/L/2' test.txt	//将每行中的第 2 个 l 替换为 L
sed 's/the/THE/g' test.txt	//将文件中的所有the 替换为 THE

sed 's/o//g' test.txt	//将文件中的所有o 删除(替换为空串（就是不存在的，不是空格）)
sed 's/^/#/' test.txt	//在每行行首插入#号
sed '/the/s/^/#/' test.txt	//在包含the 的每行行首插入#号
sed 's/$/EOF/' test.txt	//在每行行尾插入字符串EOF
sed '3,5s/the/THE/g' test.txt	//将第 3~5 行中的所有 the 替换为 THE
sed '/the/s/o/O/g' test.txt	//将包含the 的所有行中的 o 都替换为 O

案例1：将每行中的第一个the 替换为 THE

案例2：将每行中的第 2 个 l 替换为 L

案例3：将文件中的所有the 替换为 THE

案例4：将文件中的所有o 删除 (替换为空串（就是不存在的，不是空格）)

案例5：在每行行首插入#号

案例6：在包含the 的每行行首插入#号

案例7：在每行行尾插入字符串EOF

案例8：将第 3~5 行中的所有 the 替换为 THE

案例9：将包含the 的所有行中的 o 都替换为 O

3.1 操作【y】替换字符

y///  和 s///  有什么区别呢？主要有以下两点：

y 的语法格式是 y/source/dest/，表示将 源 中的字符对位替换为 目的 中的字符。
而 s 的语法格式是 s/regexp/replacement/，表示通过正则匹配到的内容替换为 replacement 部分。

y 只是简单的逐字替换，没有很多花样。s 支持 & 符号和预存储等特性，可以实现更多灵活的替换效果。

y动作只是简单的替换字符，逐个替换。

4、移动【{H;d}】插入【a】指定内容

常用参数

参数	功能
H	复制到剪切板
g、G	将剪切板的数据覆盖/追加到指定行
w	保存为文件
r	读取指定文件
a	追加指定内容（a是加入在行后，i是加入在前行，6a 是指定多少行进行加入）
I，i	忽略大小写

sed '/the/{H;d};$G' test.txt	//将包含the 的行迁移至文件末尾,{;}用于多个操作
sed '1,5{H;d};17G' test.txt	//将第 1~5 行内容转移至第 17 行后
sed '/the/w out.file' test.txt	//将包含the 的行另存为文件 out.file
sed '/the/r /etc/hostname' test.txt	//将文件/etc/hostname 的内容添加到包含 the 的每行以后
sed '3aNew' test.txt	//在第 3 行后插入一个新行,内容为New
sed '/the/aNew' test.txt	//在包含the 的每行后插入一个新行,内容为 New
sed '3aNew1\nNew2' test.txt	//在第 3 行后插入多行内容,中间的\n 表示换行

案例1：将包含the 的行迁移至文件末尾， { ; } 用于多个操作

案例2：将第 1~5 行内容转移至第 17 行后

案例3：将包含the 的行另存为文件 out.file

案例4：将文件/etc/hostname 的内容添加到包含 the 的每行以后

案例5：在第 3 行后插入一个新行,内容为New

案例6：在包含the 的每行后插入一个新行,内容为 New

案例7：在第 3 行后插入多行内容,中间的\n 表示换行

五、一键部署FTP服务

要求禁止匿名用户登录，但是允许本地用户（也允许写入）。

#!/bin/bash
systemctl stop firewall
setenforce 0
yum -y install vsftpd
systemctl start vsftpd

#定义ftp服务的配置文件
CONFIG="/etc/vsftpd/vsftpd.conf"

#判断备份文件是否存在，不存在就拷贝一份
[ ! -e $CONFIG.bak ] && cp $CONFIG $CONFIG.bak

#将匿名访问的全部注释
sed -i '/^anon/s/^/#/' $CONFIG

#查看listen在配置文件中是否存在，没有则在最后插入一个。
#grep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIG

#创建ftp的共享目录
mkdir -p /var/ftp/data
#创建用户
useradd libai
echo "123" |passwd --stdin libai &>/dev/null
#给共享目录设置被登录的用户
chown -R libai:root /var/ftp/data

sed -i '$alocal_root=/var/ftp/data' $CONFIG

#重启服务
systemctl restart vsftpd

六、总结

sed命令，主要用于修改配置文件中的内容，通过-i 选项，可以使得文件修改内容生效。可以结合正则表达式进行一些复杂的修改，在一键部署各种服务中，可以实现免交互，直接进行修改。