Linux学习笔记<Sed最全整理>

本文分为四部分，前两部分都是比较基础的用法。
如果你对Sed感兴趣的话，可以去尝试读一下后面几个章节。
你完全可以根据你的水平去选择其中的某一个章节阅读。

目录

---

初级入门

sed工具是一种非交互式的流编辑器。默认情况下只会影响输出，不会改变输入。sed处理文档时是以行为单位的。功能有：删除、查找替换、添加、插入、从其他文件读取。

其实这些功能看起来都可以用vim等编辑器来实现。那么，为什么要有sed呢?

主要应用场景

• 太过庞大的文本
• 有规律的文本修改

sed的命令格式

 sed [option] command [file ...]

删除

#删除第一行
sed '1d' file

注意，这只影响到输出流。如果想保存的话

sed -i '1d' filename

或者

#输出到新文件
sed '1d'>newfilename

其中1d命令中，我们把1称为地址，这里指代的是第一行。
删除第一行到最后一行

sed '1,$d' filename

删除包含了某个pattern的行

sed '/pattern/d' filename
#例如
sed '/^$/d' filename

---

查找替换

#普通替换 将每行的第一个line替换成LINE
sed 's/line/LINE/' filename

sed ‘s/line/LINE/[number]
表示对这一行来说至多替换number个line，如果number为g，则全部替换

---

字符转换

现在还没有见过重要的用法

---

插入文本

#在第二行前插入一行
sed '2 i insert_context' filename
#在第二行之后插入一行
sed '2 a insert_context' filename
#在匹配的行之前插入一行
sed '/pattern/i\new_word' filename

打印

#只打印出第一行 ，不加n的话会默认输出每一行
sed -n '1p' filename
#只打印出被修改的一行
sed -n 's/the/THE/p' filename

---

鸟哥私房菜

sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

---

[root@www ~]# sed [-nefr] [动作]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。

动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！
sed使用参数

#以行为单位的新增/删除

#将 /etc/passwd 的内容列出并且列印行号，同时，请将第 2~5 行删除！
[root@www ~]# nl /etc/passwd | sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....

#只要删除第 2 行
nl /etc/passwd | sed '2d' 

#要删除第 3 到最后一行
nl /etc/passwd | sed '3,$d'

#在第二行后(亦即是加在第三行)加上『drink tea?』字样！
nl /etc/passwd | sed '2 a drink tea' 

#如果是要增加两行以上，在第二行后面加入两行字，例如『Drink tea or .....』与『drink beer?』
nl /etc/passwd | sed '2 a drind tea or\
>drink beer?'

#将第2-5行的内容取代成为『No 2-5 number』呢？
nl /etc/passwd|sed '2,5c No 2-5 number'

#数据的搜寻并删除
#删除/etc/passwd所有包含root的行，其他行输出
nl /etc/passwd | sed -n '/root/d'

重点，命令的拼接

#数据的搜寻并执行命令
#找到匹配模式eastern的行后，

#搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：
nl /etc/passwd | sed '/root/{s/bash/blueshell;p}' 

多点编辑

#多点编辑
#一条sed命令，删除/etc/passwd第三行到末尾的数据，并把bash替换为#blueshell
nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell'

直接修改文件内容(危险动作)

sed 可以直接修改文件的内容，不必使用管道命令或数据流重导向！ 不过，由於这个动作会直接修改到原始的文件，所以请你千万不要随便拿系统配置来测试！ 我们还是使用下载的 regular_express.txt 文件来测试看看吧！

利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !

#注意，由于.和!都是正则表达符，所以需要转义
sed -i 's/\.$/\!/g regular_express.txt'

利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』

sed -i '$i #this is a test' regular_express.txt

---

Sed到底是如何工作的？

这里有一个比较不错的文章，可以看到Linux和Unix版本之间的区别以及简略的用法。
如果没有耐心看看上面的内容是完全足够了的。

本文作者的水平实在平平。只能试着翻译一下文档。但是如果没有办法读原始文档，那么我就只能永远看翻译过来的不知所云的文章。我认为这一步是必须的。

可能文档也并不足够，有些概念没有解释清楚。先看看这段话再读文档好了：）

How `sed' Works
===================

`sed' maintains two data buffers: the active _pattern_ space, and the
auxiliary _hold_ space. Both are initially empty.

   `sed' operates by performing the following cycle on each lines of input: first, `sed' reads one line from the input stream, removes any trailing newline, and places it in the pattern space.  Then commands are executed; each command can have an address associated to it:addresses are a kind of condition code, and a command is only executed if the condition is verified before the command is to be executed.

   When the end of the script is reached, unless the `-n' option is in use, the contents of pattern space are printed out to the output stream, adding back the trailing newline if it was removed.(1) Then the next cycle starts for the next input line.

   Unless special commands (like `D') are used, the pattern space is deleted between two cycles. The hold space, on the other hand, keeps its data between cycles (see commands `h', `H', `x', `g', `G' to move
data between both buffers).

   ---------- Footnotes ----------

   (1