sed

最新推荐文章于 2023-10-23 21:53:30 发布
最新推荐文章于 2023-10-23 21:53:30 发布
阅读量602 收藏
点赞数
分类专栏： 资料
awk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以  林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。

sed全名叫stream editor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。

同样，本篇文章不会说sed的全部东西，你可以参看sed的手册，我这里主要还是想和大家竞争一下那些从手机指缝间或马桶里流走的时间，用这些时间来学习一些东西。当然，接下来的还是要靠大家自己双手。

用s命令替换

我使用下面的这段文本做演示：

1
2
3
4
5
6
7
8
9
$ cat pets.txt
This is my cat
   my cat 's name is betty
This is my dog
   my dog's name is frank
This is my fish
   my fish's name is george
This is my goat
   my goat's name is adam

把其中的my字符串替换成Hao Chen’s，下面的语句应该很好理解（s表示替换命令，/my/表示匹配my，/Hao Chen’s/表示把匹配替换成Hao Chen’s，/g 表示一行上的替换所有的匹配）：

1
2
3
4
5
6
7
8
9
$ sed "s/my/Hao Chen's/g" pets.txt
This is Hao Chen's cat
   Hao Chen 's cat' s name is betty
This is Hao Chen's dog
   Hao Chen 's dog' s name is frank
This is Hao Chen's fish
   Hao Chen 's fish' s name is george
This is Hao Chen's goat
   Hao Chen 's goat' s name is adam

注意：如果你要使用单引号，那么你没办法通过\’这样来转义，就有双引号就可以了，在双引号内可以用\”来转义。

再注意：上面的sed并没有对文件的内容改变，只是把处理过后的内容输出，如果你要写回文件，你可以使用重定向，如：

1
$ sed "s/my/Hao Chen's/g" pets.txt > hao_pets.txt

或使用 -i 参数直接修改文件内容：

1
$ sed -i "s/my/Hao Chen's/g" pets.txt

在每一行最前面加点东西：

1
2
3
4
5
6
7
8
9
$ sed 's/^/#/g' pets.txt
#This is my cat
#  my cat's name is betty
#This is my dog
#  my dog's name is frank
#This is my fish
#  my fish's name is george
#This is my goat
#  my goat's name is adam

在每一行最后面加点东西：

1
2
3
4
5
6
7
8
9
$ sed 's/$/ --- /g' pets.txt
This is my cat ---
   my cat 's name is betty ---
This is my dog ---
   my dog's name is frank ---
This is my fish ---
   my fish's name is george ---
This is my goat ---
   my goat's name is adam ---

顺手介绍一下正则表达式的一些最基本的东西：

  • ^ 表示一行的开头。如：/^#/ 以#开头的匹配。
  • $ 表示一行的结尾。如：/}$/ 以}结尾的匹配。
  • \< 表示词首。 如 \<abc 表示以 abc 为首的詞。
  • \> 表示词尾。 如 abc\> 表示以 abc 結尾的詞。
  • . 表示任何单个字符。
  • * 表示某个字符出现了0次或多次。
  • [ ] 字符集合。 如：[abc]表示匹配a或b或c，还有[a-zA-Z]表示匹配所有的26个字符。如果其中有^表示反，如[^a]表示非a的字符

正规则表达式是一些很牛的事，比如我们要去掉某html中的tags：

html.txt
1
< b >This</ b > is what < span style = "text-decoration: underline;" >I</ span > meant. Understand?

看看我们的sed命令

1
2
3
4
5
6
7
8
# 如果你这样搞的话，就会有问题
$ sed 's/<.*>//g' html.txt
  Understand?
 
# 要解决上面的那个问题，就得像下面这样。
# 其中的'[^>]' 指定了除了>的字符重复0次或多次。
$ sed 's/<[^>]*>//g' html.txt
This is what I meant. Understand?

我们再来看看指定需要替换的内容：

1
2
3
4
5
6
7
8
9
$ sed "3s/my/your/g" pets.txt
This is my cat
   my cat 's name is betty
This is your dog
   my dog's name is frank
This is my fish
   my fish's name is george
This is my goat
   my goat's name is adam

下面的命令只替换第3到第6行的文本。

1
2
3
4
5
6
7
8
9
$ sed "3,6s/my/your/g" pets.txt
This is my cat
   my cat 's name is betty
This is your dog
   your dog's name is frank
This is your fish
   your fish's name is george
This is my goat
   my goat's name is adam

 

1
2
3
4
5
$ cat my.txt
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
This is my goat, my goat's name is adam

只替换每一行的第一个s：

1
2
3
4
5
$ sed 's/s/S/1' my.txt
ThiS is my cat , my cat 's name is betty
ThiS is my dog, my dog's name is frank
ThiS is my fish, my fish's name is george
ThiS is my goat, my goat's name is adam

只替换每一行的第二个s：

1
2
3
4
5
$ sed 's/s/S/2' my.txt
This iS my cat , my cat 's name is betty
This iS my dog, my dog's name is frank
This iS my fish, my fish's name is george
This iS my goat, my goat's name is adam

只替换第一行的第3个以后的s：

1
2
3
4
5
$ sed 's/s/S/3g' my.txt
This is my cat , my cat 'S name iS betty
This is my dog, my dog'S name iS frank
This is my fiSh, my fiSh'S name iS george
This is my goat, my goat'S name iS adam
多个匹配

如果我们需要一次替换多个模式，可参看下面的示例：（第一个模式把第一行到第三行的my替换成your，第二个则把第3行以后的This替换成了That）

1
2
3
4
5
$ sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt
This is your cat , your cat 's name is betty
This is your dog, your dog's name is frank
That is your fish, your fish's name is george
That is my goat, my goat's name is adam

上面的命令等价于：（注：下面使用的是sed的-e命令行参数）

1
sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

我们可以使用&来当做被匹配的变量，然后可以在基本左右加点东西。如下所示：

1
2
3
4
5
$ sed 's/my/[&]/g' my.txt
This is [my] cat , [my] cat 's name is betty
This is [my] dog, [my] dog's name is frank
This is [my] fish, [my] fish's name is george
This is [my] goat, [my] goat's name is adam
圆括号匹配

使用圆括号匹配的示例：（圆括号括起来的正则表达式所匹配的字符串会可以当成变量来使用，sed中使用的是\1,\2…）

1
2
3
4
5
$ sed 's/This is my \([^,]*\),.*is \(.*\)/\1:\2/g' my.txt
cat :betty
dog:frank
fish:george
goat:adam

上面这个例子中的正则表达式有点复杂，解开如下（去掉转义字符）：

正则为：This is my ([^,]*),.*is (.*)
匹配为：This is my (cat),……….is (betty)

然后：\1就是cat，\2就是betty

sed的命令

让我们回到最一开始的例子pets.txt，让我们来看几个命令：

N命令

先来看N命令 —— 把下一行的内容纳入当成缓冲区做匹配。

下面的的示例会把原文本中的偶数行纳入奇数行匹配，而s只匹配并替换一次，所以，就成了下面的结果：

1
2
3
4
5
6
7
8
9
$ sed 'N;s/my/your/' pets.txt
This is your cat
   my cat 's name is betty
This is your dog
   my dog's name is frank
This is your fish
   my fish's name is george
This is your goat
   my goat's name is adam

也就是说，原来的文件成了：

1
2
3
4
This is my cat \n  my cat 's name is betty
This is my dog\n  my dog's name is frank
This is my fish\n  my fish's name is george
This is my goat\n  my goat's name is adam

这样一来，下面的例子你就明白了，

1
2
3
4
5
$ sed 'N;s/\n/,/' pets.txt
This is my cat ,  my cat 's name is betty
This is my dog,  my dog's name is frank
This is my fish,  my fish's name is george
This is my goat,  my goat's name is adam
a命令和i命令

a命令就是append， i命令就是insert，它们是用来添加行的。如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 其中的1i表明，其要在第1行前插入一行（insert）
$ sed "1 i This is my monkey, my monkey's name is wukong" my.txt
This is my monkey, my monkey's name is wukong
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
This is my goat, my goat's name is adam
 
# 其中的1a表明，其要在最后一行后追加一行（append）
$ sed "$ a This is my monkey, my monkey's name is wukong" my.txt
This is my cat , my cat 's name is betty
This is my monkey, my monkey's name is wukong
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
This is my goat, my goat's name is adam

我们可以运用匹配来添加文本：

1
2
3
4
5
6
7
# 注意其中的/fish/a，这意思是匹配到/fish/后就追加一行
$ sed "/fish/a This is my monkey, my monkey's name is wukong" my.txt
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
This is my monkey, my monkey's name is wukong
This is my goat, my goat's name is adam

下面这个例子是对每一行都挺插入：

1
2
3
4
5
6
7
8
9
$ sed "/my/a ----" my.txt
This is my cat , my cat 's name is betty
----
This is my dog, my dog's name is frank
----
This is my fish, my fish's name is george
----
This is my goat, my goat's name is adam
----
c命令

c 命令是替换匹配行

1
2
3
4
5
6
7
8
9
10
11
$ sed "2 c This is my monkey, my monkey's name is wukong" my.txt
This is my cat , my cat 's name is betty
This is my monkey, my monkey's name is wukong
This is my fish, my fish's name is george
This is my goat, my goat's name is adam
 
$ sed "/fish/c This is my monkey, my monkey's name is wukong" my.txt
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my monkey, my monkey's name is wukong
This is my goat, my goat's name is adam
d命令

删除匹配行

1
2
3
4
5
6
7
8
9
10
11
12
$ sed '/fish/d' my.txt
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my goat, my goat's name is adam
 
$ sed '2d' my.txt
This is my cat , my cat 's name is betty
This is my fish, my fish's name is george
This is my goat, my goat's name is adam
 
$ sed '2,$d' my.txt
This is my cat , my cat 's name is betty
p命令

打印命令

你可以把这个命令当成grep式的命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 匹配fish并输出，可以看到fish的那一行被打了两遍，
# 这是因为sed处理时会把处理的信息输出
$ sed '/fish/p' my.txt
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
This is my fish, my fish's name is george
This is my goat, my goat's name is adam
 
# 使用n参数就好了
$ sed -n '/fish/p' my.txt
This is my fish, my fish's name is george
 
# 从一个模式到另一个模式
$ sed -n '/dog/,/fish/p' my.txt
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
 
#从第一行打印到匹配fish成功的那一行
$ sed -n '1,/fish/p' my.txt
This is my cat , my cat 's name is betty
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
几个知识点

好了，下面我们要介绍四个sed的基本知识点：

Pattern Space

第零个是关于-n参数的，大家也许没看懂，没关系，我们来看一下sed处理文本的伪代码，并了解一下Pattern Space的概念：

1
2
3
4
5
6
7
8
9
10
11
12
foreach line in file {
     //放入把行Pattern_Space
     Pattern_Space <= line;
 
     // 对每个pattern space执行sed命令
     Pattern_Space <= EXEC(sed_cmd, Pattern_Space);
 
     // 如果没有指定 -n 则输出处理后的Pattern_Space
     if (sed option hasn't "-n" )  {
        print Pattern_Space
     }
}
Address

第一个是关于address，几乎上述所有的命令都是这样的（注：其中的!表示匹配成功后是否执行命令）

[address[,address]][!]{cmd}

address可以是一个数字，也可以是一个模式，你可以通过逗号要分隔两个address 表示两个address的区间，参执行命令cmd，伪代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
bool bexec = false
foreach line in file {
     if ( match(address1) ){
         bexec = true ;
     }
 
     if ( bexec == true ) {
         EXEC(sed_cmd);
     }
 
     if ( match (address2) ) {
         bexec = false ;
     }
}

关于address可以使用相对位置，如：

1
2
3
4
5
6
7
8
9
10
# 其中的+3表示后面连续3行
$ sed '/dog/,+3s/^/# /g' pets.txt
This is my cat
   my cat 's name is betty
# This is my dog
#   my dog's name is frank
# This is my fish
#   my fish's name is george
This is my goat
   my goat's name is adam
命令打包

第二个是cmd可以是多个，它们可以用分号分开，可以用大括号括起来作为嵌套命令。下面是几个例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
$ cat pets.txt
This is my cat
   my cat 's name is betty
This is my dog
   my dog's name is frank
This is my fish
   my fish's name is george
This is my goat
   my goat's name is adam
 
# 对3行到第6行，执行命令/This/d
$ sed '3,6 {/This/d}' pets.txt
This is my cat
   my cat 's name is betty
   my dog's name is frank
   my fish's name is george
This is my goat
   my goat's name is adam
 
# 对3行到第6行，匹配/This/成功后，再匹配/fish/，成功后执行d命令
$ sed '3,6 {/This/{/fish/d}}' pets.txt
This is my cat
   my cat 's name is betty
This is my dog
   my dog's name is frank
   my fish's name is george
This is my goat
   my goat's name is adam
 
# 从第一行到最后一行，如果匹配到This，则删除之；如果前面有空格，则去除空格
$ sed '1,${/This/d;s/^ *//g}' pets.txt
my cat 's name is betty
my dog's name is frank
my fish's name is george
my goat's name is adam
Hold Space

第三个我们再来看一下 Hold Space

接下来，我们需要了解一下Hold Space的概念，我们先来看四个命令：

g： 将hold space中的内容拷贝到pattern space中，原来pattern space里的内容清除
G： 将hold space中的内容append到pattern space\n后
h： 将pattern space中的内容拷贝到hold space中，原来的hold space里的内容被清除
H： 将pattern space中的内容append到hold space\n后
x： 交换pattern space和hold space的内容

这些命令有什么用？我们来看两个示例吧，用到的示例文件是：

1
2
3
4
$ cat t.txt
one
two
three

第一个示例：

1
2
3
4
5
6
7
8
9
$ sed 'H;g' t.txt
one
 
one
two
 
one
two
three

是不是有点没看懂，我作个图你就看懂了。

第二个示例，反序了一个文件的行：

1
2
3
4
$ sed '1!G;h;$!d' t.txt
three
two
one

其中的 ’1!G;h;$!d’ 可拆解为三个命令

  • 1!G —— 只有第一行不执行G命令，将hold space中的内容append回到pattern space
  • h —— 第一行都执行h命令，将pattern space中的内容拷贝到hold space中
  • $!d —— 除了最后一行不执行d命令，其它行都执行d命令，删除当前行

这个执行序列很难理解，做个图如下大家就明白了：

就先说这么多吧，希望对大家有用。


mkmkmkkk
关注
专栏目录
Linux达人养成记Ⅰ笔记
Louie028的博客
07-22 822
帮助命令 man 命令 /【要搜索的内容】 man的级别 1 查看命令的帮助 2 查看可被内核调用的函数的帮助 3 查看函数和函数库的帮助 4 查看特殊文件的帮助（主要是/dev目录下的文件） 5 查看配置文件的帮助 6 查看游戏的帮助 7 查看其他杂项的帮助 8 查看系统管理员可用命令的帮助 9 查看和内核相关文件的帮助 查看命令拥有哪个级别的帮助
SEd
03-14
WTF Webpack入门套件 用于静态网站开发的简单工具包。 如何使用它？ 单击“ Use this template按钮以基于该入门工具包生成新的存储库。 将其克隆到您的计算机后，转到控制台中的项目目录，然后键入npm install 。...
【转】sed 简明教程
weixin_34200628的博客
02-20 215
awk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以 林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。 sed全名叫stream editor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。 同样，本篇文章不会说sed的全...
sed简明教程
elijah5748的专栏
03-11 5035
1. Sed简介sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。以下
sed 简明教程
weixin_44966641的博客
05-26 575
sed 简明教程 转自：https://coolshell.cn/articles/9104.html awk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以 林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。 sed全名叫stream editor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。 同样，本篇文章不会说sed的全部东西，你可
‘sed‘ 不是内部或外部命令，也不是可运行的程序 或批处理文件。
02-24 981
从网上找了一下，说这个命令是Linux系统上的，而且如果安装了Git是自带这个工具的，自己找了一下，确实在下面的目录下找到了sed.exe。“‘sed’ 不是内部或外部命令，也不是可运行的程序 或批处理文件”在使用adb命令查看task和Activity的时候，发现报错。看样子是没有配置sed的环境变量，或者没有sed工具。然后配置一下环境变量，重启命令行就ok了。
sed安装包：sed-4.2.1-setup.exe
最新发布
09-03
默认安装即可，会生成GnuWin32文件夹
windows下cmd程序sed命令所需文件
01-09
在Windows环境下，`cmd`命令行工具通常用于执行各种系统级操作，而`sed`（流编辑器，Stream Editor）是Unix/Linux系统中一个强大的文本处理工具，它在Windows下的应用可能需要额外的配置。本篇文章将详细介绍如何在...
sed-4.2.1.rar包括sed-4.2.1-setup.exe、sed-4.2.1-dep.zip、sed-4.2.1-bin.zip
08-27
**sed工具介绍** `sed` 是“流编辑器”（Stream Editor）的缩写，它是一种功能强大的文本处理工具，广泛应用于Linux和Unix系统中。`sed` 可以读取数据流，对输入的数据进行各种操作，如替换、删除、插入等，并将...
Shell、awk、sed面试题汇总（无答案）.doc
07-07
Shell、awk、sed 面试题汇总 以下是从给定的文件中生成的相关知识点： Shell 1. 变量赋值：在 Shell 中，可以使用多种方法来赋值变量，包括直接赋值、使用 `read` 命令、使用命令行参数和使用命令的输出。 2. ...
sed.exe 64位
05-29
sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。 sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理完输入文件的最后一行后，sed便结束运行。sed把每一行都存在临时缓冲区中，对这个副本进行编辑，所以不会修改原文件。
sed-for-windows
12-18
linux下面的文本编辑工具sed,非常强大,现在windows版本的sed已出
sed找到关键字所在行并将其前面的第一个字符删除的命令
01-11
sed找到关键字所在行并将其前面的第一个字符删除： 代码如下:sed -i ‘/httpd-vhosts/s/^#//’  httpd.conf#Include conf/extra/httpd-vhosts.conf   说明：以 httpd-vhosts 为关键字找到这行，并将前面的第一个字符删掉，即将#删掉。 您可能感兴趣的文章:查看某时间段到现在的系统日志的sed命令linux之sed命令的用法一天一个shell命令 linux文本内容操作系列-sed命令详解linux中sed命令的使用与注意小结
sed for windows
03-04
linux系统下强大的sed命令，for windows版本。
sed & awk常用正则表达式
zwj1030711290的CSDN
01-03 514
正则表达式元字符 正则表达式中有两种基本元素： 以字面值或变量表示的值（如.代表任意单个字符）。 操作符（如*代表将前面的字符重复任意次）。 元字符汇总 特殊字符 用途 . 匹配除换行符以外的任意单个字符。在awk中，句点也能匹配换行符。 * 匹配任意一个（包括零个）在它面前的字
sed交换任意两行
weixin_30248399的博客
04-27 400
命令： sed -n 'A{h;n;B!{:a;N;C!ba;x;H;n};x;H;x};p' 文件名 解释： A、B分别是需要交换的行，C是B-1 其中，A、B、C可以是行号，也可以通过匹配模式，如果是匹配模式，C就需要自己替换为B行的上一行，类似： sed -n '/xxx/{h;n;/zzz/!{:a;N;/yyy/!ba;x;H;n};x;H;x};p'文件名 ...
sed -i 命令常用方法总结
Liang_cr的博客
10-23 2457
4，替换字符串中部分内容，其实是3的升华用法。5，指定行添加删除注释。
Sed 常用基本命令
Erik_ly的博客
05-31 1980
本文主要介绍了 Sed 常用的基本命令。
sed命令详解+示例
热门推荐
jsut_rick的博客
08-08 5万+
sed命令解析 sed（StreamEDitor）,流式编辑器 非交互式，基于模式匹配过滤及修改文本//类比：Vim是一个交互的编辑器 逐行处理，并将结果输出到屏幕 可实现对文本的输出、删除、替换、复制、剪切、导入、导出等各种操作 语法格式： 格式1：前置命令|sed[选项]'[定址符]处理动作’ 格式2：sed[选项]'[定址符]处理动...
Unix Sed命令实用单行脚本
"sed one line pdf" 本文将详细探讨在Linux或Unix环境中，使用经典文本处理工具sed执行单行命令的技巧。sed（流编辑器）是一种强大的文本操作工具，能够对输入流（标准输入、文件或者管道）进行读取、处理，并将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值