sed命令的格式
格式1：sed [OPTION] [-e] command1 [[-e command2] ... [-e commandn]] [input-file]
...
格式2：sed [OPTION] -f script-file [input-file]
表示法 说明
省略地址部分，将对输入的每一行进行操作
n 表示第n行，特殊地，$表示最后一行
f~s 表示从f开始，步长伟s的所有的行
/regexp/ 表示与正则表达式匹配的行
m,n 表示从第m行到第n行，特殊地，m,$表示从第m行到最后一行
m,+n 表示第m行以及其后n行
/regexp1/,/regexp2/ 表示从匹配regexp1的行开始到匹配regexp2的行
/regexp/,n 表示从匹配regexp的行开始到第n行
n,/regexp/ 表示从第n行开始到匹配regexp的行
sed支持的常用操作
操作 说明
p 打印
l 显示所有字符，包括控制字符(非打印字符)
d 删除
= 显示匹配行的行号
/s/regexp/replacement/ 将指定行中第一个匹配regexp的内容替换为replacement
/s/regexp/replacement/g 将指定行中所有匹配regexp的内容替换为replacement(g表
示全局)
/s/regexp/replacement/p 打印修改后的行
/s/regexp/replacement/gp 打印修改后的行(g表示全局)
/s/regexp/replacement/w fname 将替换后的行内容写到指定的文件fname中
/s/regexp/replacement/gw fname 将替换后的行内容写到指定的文件fname中(g表示全局)
r fname 将另外一个文件fname中的内容附加到指定行
w fname 将当前模式空间的内容写入指定的文件fname
n 将指定的下面一行读入模式空间
q 读取到指定行之后退出sed
a\ 在指定行后面追加文本
i\ 在指定行前面追加文本
c\ 用新文本替换指定的行
sed使用实例
1 以p操作说明地址的使用方法
#显示myfile文件的全部内容
# sed -n p myfile
#显示myfile文件中的第5行内容
# sed -n 5p myfile
#显示myfile文件中最后一行的内容
# sed -n '$p' myfile
#显示myfile文件从第3行开始步长为5的行的内容
# sed -n 3~5p myfile
# sed -n 3~5= myfile
#显示myfile文件从第3行到第10行的内容
# sed -n 3,10p myfile
#显示myfile文件从第10行以及其后的10行内容
# sed -n 10,+10p myfile
#显示myfile文件第3行开始到最后一行的内容
# sed -n '3,$p' myfile
#显示myfile文件中所有包含LANG的行
# sed -n '/LANG/p' myfile
#向上myfile文件中所有不包含LANG的行
# sed -n '/LANG/!p' myfile
#显示myfile文件从第3行到其后第一次出现LANG的行
# sed -n 3,/LANG/p myfile
#显示myfile文件从第一次出现LANG的行开始到最后一行的内容
# sed -n '/LANG/,$p' myfile
#显示myfile文件从第一次出现以case开始的行到第一次出现以esac开始的行
# sed -n /^case/,/^esac/p myfile
2 替换命令使用实例
#在每个输入行中，将第一个出现的windows替换为linux
# sed 's/windows/linux/' myfile
#在每个输入行中，将第一个出现的windows替换为linux，并打印替换后的行
# sed -n 's/windows/linux/p' myfile
#在每个输入行中，将出现的每个windows替换为linux
# sed 's/windows/linux/g' myfile
#在每个输入行中，将出现的每个windows替换为linux，并打印替换后的行
# sed -n 's/windows/linux/g' myfile
#在每个输入行中，将出现的每个windows替换为linux，并打印替换后的行,输入到fname文件中
# sed -n 's/windows/linux/gw fname' myfile
#在每个输入行中，将出现的每个Unix替换为Unix/Linux(&表示匹配的字符串)
# sed -e 's/Unix/&\/Linux/g' myfile
#将所有连续出现的c都压缩成单个的c
# sed 's/cc*/c/g' myfile
#删除行首的一个空格
# sed 's/ //' myfile
#删除每一行前导的连续"空白字符"(空格，制表符)
# sed 's/^[ \t]*//' myfile
#删除以句点结尾的行中末尾的句点
# sed 's/\.$//g' myfile
#删除每行的第一个字符
# sed 's/.//' myfile
#删除每行结尾的所有空格
# sed 's/ *$//' myfile
#在文件的每一行开始处插入两个空格
# sed 's/^/ /' myfile
#在每一行开头加上一个尖括号和空格(引用信息)
# sed 's/^/> /' myfile
#将每一行开头处的尖括号和空格删除(解除引用)
# sed 's/^> //' myfile
#删除路径前缀
# sed 's/.*\///' myfile
# ls -d /usr/share/man/man1 | sed 's/.*\///' myfile
#过滤所有标点符号("." "," "?" "!")
# sed 's/\.//g' -e 's/\?//g' -e 's/\!//g' myfile
#对于GNU sed可以使用如下的等效形式
# sed 's/\.//g ; s/\?//g ; s/\!//g' myfile
#不论什么字符，紧跟着s命令的都被认为是分隔符，所以'#'在这里是分隔符，代替了默认的'/'
分割份
#尤其适用于替换文件路径
# sed 's#/some/path/old#/some/path/new#g' myfile
#多个sed编辑命令是顺序执行的
# sed -e 's/Unix/UNIX/g' -e '/UNIX System/UNIX Opterating System/g' myfile
3其他命令使用举例
#删除所有空白行
# sed '/^$/d' myfile
# sed '/./!d' myfile
#删除文件顶部的所有空行
# sed '/./,$!d' myfile
#从输入的开头一直删除到第一个空行(第一个空行也删除掉)
# sed '1,/^$/!d' myfile
#删除所有偶数行，与sed -n '1~2p' myfile等效
# sed 'n;d' myfile
#删除所有包含"GUI"的行
# sed '/GUI/d' myfile
#将所有包含"GUI"的行都删除，并保持剩余部分的完整性
# sed 's/GUI//g' myfile
#在每一行后面添加一空行
# sed G myfile
#在匹配"regex"的行之后插入一空行
# sed '/regex/G' myfile
#将myfile中从case开始到esac结束的行写到文件case-block
# sed '/^case/,/^esac/w case-block' myfile
#在myfile末尾追加新行
#反斜线\是必须的，它表示将插入一个回车符，在任何要输入回车的地方都必须使用反#斜线
# sed '$a\
> newline1\
> newline2\
> newline3' myfile
#在匹配"regex"的行之后追加新行
# sed '/regex/a\
> newline1\
> newline2\
> newline3' myfile
补充说明与应用：
1. sed
1.1. sed 命令格式
1.1.1 . sed 命令语法
sed [-n] ‘editing command’ [file … ]
sed [-n] [-e] ‘editing command’ … [file … ]
sed [-n] –f script-file… [file … ]
1.1.2 . sed 命令的参数
-n ： 使用安静(silent) 模式。在一般 sed 的用法中，所有来自STDIN 的数据一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行( 或者动作) 才会被列出来。
-e ：直接在指令列模式上进行 sed 的动作编辑；
-f ： 直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的sed 动作；
-r ：sed 的动作支持的是延伸型正则表达式的语法。( 预设是基础正则表达式语法)
-i ：直接修改读取的档案内容，而不是由屏幕输出。
editing command 说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
是需要在 10 到 20 行之间进行的，则『 10,20[ 动作行为] 』
function 如下 ：
a ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现( 目前的下一行) ～
c ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现( 目前的上一行) ；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
正则表达式！例如 1,20s/old/new/g 就是啦！
1.2. sed 命令的例子
1. 将 /etc/passwd 的内容列出，并且我需要打印行号，同时，请将第 2~5 行删除
[root@hostname~]# nl /etc/passwd | sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....( 后面省略).....
# 看到了吧？因为 2-5 行给他删除了，所以显示的数据中，就没有 2-5 行啰～
# 另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
# 同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
# 而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
# 至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！
2. 承上题，在第二行后( 亦即是加在第三行) 加上『drink tea? 』字样！
[root@hostname~]# nl /etc/passwd | sed '2a drink tea'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 嘿嘿！在 a 后面加上的字符串就已将出现在第二行后面啰！那如果是要在第二行前呢？
# nl /etc/passwd | sed '2i drink tea' 就对啦！
3. 在第二行后面加入两行字，例如『Drink tea or ..... 』『drink beer? 』
[root@hostname~]# nl /etc/passwd | sed '2a Drink tea or ....../ndrink beer ?'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 这个范例的重点是，我们可以新增不只一行喔！可以新增好几行～
# 但是每一行之间都必须要以反斜线 / 来进行新行的增加喔！所以，上面的例子中，
# 我们可以发现在第一行的最后面就有 / 存在啦！那是一定要的喔！
4. 我想将第2-5 行的内容取代成为『No 2-5 number 』呢？
[root@hostname~]# nl /etc/passwd | sed '2,5c No 2-5 number'
1 root:x:0:0:root:/root:/bin/bash
No 2-5 number
6 sync:x:5:0:sync:/sbin:/bin/sync
# 没有了 2-5 行，嘿嘿嘿嘿！我们要的数据就出现啦！
5. 仅列出第 5-7 行
[root@hostname~]# nl /etc/passwd | sed -n '5,7p'
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# 为什么要加 -n 的参数呢？您可以自行下达 sed '5,7p' 就知道了！(5-7 行会重复输出)
# 有没有加上 -n 的参数时，输出的数据可是差很多的喔！
6. 我们可以使用 ifconfig 来列出 IP ，若仅要 eth0 的 IP 时？
[root@hostname~]# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:51:FD:52:9A:CA
inet addr:192.168.1.12 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
.....( 以下省略).....
# 其实，我们要的只是那个 inet addr:.. 那一行而已，所以啰，利用 grep 与 sed 来捉
[root@hostname~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | /
> sed 's/Bcast.*$//g'
# 您可以将每个管线 (|) 的过程都分开来执行，就会晓得原因啰！
# 去头去尾之后，就会得到我们所需要的 IP 亦即是 192.168.1.12 啰～
7. 将 /etc/man.config 档案的内容中，有 MAN 的设定就取出来，但不要说明内容。
[root@hostname~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | /
> sed '/^$/d'
# 每一行当中，若有 # 表示该行为批注，但是要注意的是，有时候，
# 批注并不是写在第一个字符，亦即是写在某个指令后方，如底下的模样：
# 『shutdown -h now # 这个是关机的指令』，批注 # 就在指令的后方了。
# 因此，我们才会使用到将 #.*$ 这个正则表达式！
8. 利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test 』
[root@hostname~]# sed -i '$a # This is a test' ~/.bashrc
# 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔！而不是由屏幕输出。
# 至于那个 $a 则代表最后一行才新增的意思
1.3. 匹配特定的行
如前所述，sed 默认地会将每一个编辑命令(editing command) 应用到每个输入行。而
现在我们要告诉你的是: 还可以限制一条命令要应用到哪些行，只要在命令前置一个地
址(address) 即可。因此，sed 命令的完整形式就是:
address command
以下为不同种类的地址:
正则表达式
将一模式放置到一条命令之前，可限制命令应用于匹配模式的行。可与s 命令搭配
使用:
/oldfuncl/ s/$/# XXX: migrate to newfun/ 注释部分源代码
s 命令里的空模式指的是“使用前一个正则表达式”:
/Tolstoy/ s//& and Camus/g 提及两位作者
（& 在替代文本里表示从此点开始替代成匹配于正则表达式的整个文本）
最终行
sed -n '$p' "$1" 引号里为指定显示的数据
对sed 而言，“最后一行”指的是输人数据的最后一行。即便是处理多个文件，sed
也将它们视为一个长的输入流，且字只应用到最后一个文件的最后一行。
行编号
可以使用绝对的行编号作为地址。稍后将有介绍。
范围
可指定行的范围，仅需将地址以逗点隔开:
sed -n ‘10,42p’foo.xml
sed –n ‘1,20s/aa/bb/gp’ passwd
sed ‘/foo/,/bar/ s/baz/quux/g ’
第二个命令为“从含有foo 的行开始，再匹配是否有bar 的行，再将匹配后的结
果中，有baz 的全换成quux 。
这种以逗点隔开两个正则表达式的方式称为范围表达式(range expression) 。
否定正则表达式
有时，将命令应用于不匹配于特定模式的每一行，也是很有用的。通过将! 加在正
则表达式后面就能做到，如下所示:
/used/!s/new/used/g 将没有used 的每个行里所有的new 改成used
PQSIX 标准指出: 空自(whitespace) 跟随在! 之后的行为是“未定义的(unspecified) " ，并建议需提供完整可移植性的应用软件，不要在! 之后放置任何空白字符，这明显是由于某些sed 的古董级版本仍无法识别它。
1.4. 与其他命令一起
1. 将/home/tolstoy 目录结构建立一份副本在/home/lt 下
find /home/tolstoy 一type d –print | 寻找所有目录
sed’s;/home/tolstoy/;/home/lt/; | 修改名称。注意: 这里使用分号作为定界符
sed ，s/^/mkdir/ ’ | 插人mkdir 命令
sh –x 以Shell 跟踪模式执行
2. 取出passwd 的账号并排序
sed ‘s/:.*// ’ /etc/passwd | 删除第一个冒号之后的所有东西
sort –u 排序列表并删除重复部分
3. 使用sed 实现head 命令bead- 一打印前n 行
语法:head N file
count=$1
sed ${count}q "$2"
awk说明
awk是一种编程语言，可以用来对文本数据进行复杂的分析和处理。可以在手册中得到关于awk的详细信息。这个古怪的名字是它作者们的姓的缩写（Aho，Weinberger和Kernighan）。
在Aho，Weinberger和Kernighan的书The AWK Programming Language中有很多很好的awk的例子，请不要让下面这些微不足道的脚本例子限制你对awk强大能力的理解。我们同样假定我们针对price.txt文件进行处理，跟sed一样，awk也只是把结果显示在终端上。
| awk脚本 | 描述 | |
|
|
| |
| awk '$0 !~ /^$/' price.txt | 删除所有空行 | |
| awk 'NF > 0' price.txt | awk中一个更好的删除所有行的办法 | |
| awk '$2 ~ /^[JT]/ {print $3}' price.txt | 打印所有第二个字段是'J'或者'T'打头的行中的第三个字段 | |
| awk '$2 !~ /[Mm]isc/ {print $3 + $4}' price.txt | 针对所有第二个字段不包含'Misc'或者'misc'的行，打印第3和第4列的和（假定为数字） | |
| awk '$3 !~ /^[0-9]+\.[0-9]*$/ {print $0}' price.txt | 打印所有第三个字段不是数字的行，这里数字是指d.d或者d这样的形式，其中d是0到9的任何数字 | |
| awk '$2 ~ /John|Fred/ {print $0}' price.txt | 如果第二个字段包含'John'或者'Fred'则打印整行 |
604
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
