shell编程之正则表达式（sed）

最新推荐文章于 2024-05-02 19:07:46 发布
最新推荐文章于 2024-05-02 19:07:46 发布
阅读量678 收藏 1
点赞数
分类专栏： shell脚本 文章标签： shell linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46518499/article/details/107627909
版权

shell编程之正则表达式（sed）

一：sed概述

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务。
sed 的工作流程主要包括读取、执行和显示三个过程。

  • 读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）
  • 执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行
  • 显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空

注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

二：sed命令常见用法

通常情况下调用 sed 命令有两种格式，如下所示。其中，“参数”是指操作的目标文件， 当存在多个操作对象时用，文件之间用逗号“，”分隔；而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

  • sed [选项] ‘操作’ 参数
  • sed [选项] -f scriptfile 参数

常见的 sed 命令选项主要包含以下几种：

  • -e 或–expression=：允许多个脚本指令被执行
  • -f 或–file=：表示用指定的脚本文件来处理输入的文本文件
  • -n、–quiet 或 silent：表示仅显示处理后的结果
  • -i：直接编辑文本文件
  • -r 在脚本中使用扩展正则表达式

sed命令由定位文本行和sed编辑命令俩部分组成
sed编辑命令对定位文本进行操作，sed定位方式主要有俩种

  • 1.行号，指定一行或者多行范围
  • 2.使用正则表达式

ed命令定位文本方法：

  • x x指定行号
  • x,y 指定x-y行范围
  • /pattern/ 查看包含的行
  • /pattern/pattern/ 查看包含俩个匹配的行
  • /pattern/,x 从paeertn包含行到x行之间的行
  • x,y! 不包含x，y行

sed编辑方法主要为增删改查打印

  • p 打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用
  • = 打印文件行号
  • a\ 增加，在当前行下面增加一行指定内容
  • i\ 插入，在选定行上面插入一行指定内容
  • d 删除，删除选定的行
  • c\ 替换，将选定行替换为指定内容
  • s 替换，替换指定字符
  • r 从另一个文本中读入文本
  • w 保存为文件
  • y 字符转换
  • H 复制到剪贴板
  • g 将剪贴板中的数据覆盖至指定行
  • G 将剪贴板中的数据追加至指定行

三：用法案例

以 test.txt 文件为例进行演示

[root@server ~]# cat test.txt
he was short and fat.
He was wearing a blue polo shirt with black pants. 
The home of Football on BBC Sport online.
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.
The year ahead will test our political establishment to the limit.
PI=3.141592653589793238462643383249901429
a wood cross!
Actions speak louder than words

#woood # 
#woooooood # 
AxyzxyzxyzxyzC
I bet this place is really spooky late at night! 
Misfortunes never come alone/single.
I shouldn't have lett so tast.

3.1：输出符合条件的文本

#输出第三行
[root@server ~]# sed -n '3p' test.txt 
The home of Football on BBC Sport online.
#输出3-5行
[root@server ~]# sed -n '3,5p' test.txt 
The home of Football on BBC Sport online.
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.
#输出所有奇数行，n表示读入下一行
[root@server ~]# sed -n 'p;n' test.txt 
he was short and fat.
The home of Football on BBC Sport online.
google is the best tools for search keyword.
PI=3.141592653589793238462643383249901429
Actions speak louder than words
#woood # 
AxyzxyzxyzxyzC
Misfortunes never come alone/single.
#输出所有偶数行，n表示读入下一行
[root@server ~]# sed -n 'n;p' test.txt 
He was wearing a blue polo shirt with black pants. 
the tongue is boneless but it breaks bones.12! 
The year ahead will test our political establishment to the limit.
a wood cross!

#woooooood # 
I bet this place is really spooky late at night! 
I shouldn't have lett so tast.
#输出第 1~5 行之间的奇数行(第 1、3、5 行) 
[root@server ~]# sed -n '1,5{p;n}' test.txt 
he was short and fat.
The home of Football on BBC Sport online.
google is the best tools for search keyword.
#输出第 10 行至文件尾之间的偶数行
[root@server ~]# sed -n '10,${n;p}' test.txt 
#woood # 
AxyzxyzxyzxyzC
Misfortunes never come alone/single.

在执行“sed -n‘10,${n;p}’test.txt”命令时，读取的第 1 行是文件的第 10 行，读取的第 2行是文件的第 11 行，依此类推，所以输出的偶数行是文件的第 11 行、13 行直至文件结尾， 其中包括空行。

sed 命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。

#输出包含the 的行
[root@server ~]# sed -n '/the/p' test.txt 
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.
The year ahead will test our political establishment to the limit.
#输出从第 4 行至第一个包含 the 的行
[root@server ~]# sed -n '4,/the/p' test.txt 
the tongue is boneless but it breaks bones.12! 
google is the best tools for search keyword.
#输出包含the 的行所在的行号,等号(=)用来输出行号
[root@server ~]# sed -n '/the/=' test.txt 
4
5
6
#输出以PI 开头的行
[root@server ~]# sed -n '/^PI/P' test.txt 
PI=3.141592653589793238462643383249901429
#输出以数字结尾的行
[root@server ~]# sed -n '/[0-9]$/P' test.txt 
PI=3.141592653589793238462643383249901429
#输出包含单词wood 的行,\<、\>代表单词边界
[root@server ~]# sed -n '/\<wood\>/P' test.txt 
a wood cross!

3.2：删除符合条件的文本（d）

#nl命令用于计算文件的行数
[root@server ~]# nl test.txt | sed '3d'   #删除第三行
[root@server ~]# nl test.txt | sed '3,5d'	#删除第 3~5 行
[root@server ~]# nl test.txt |sed '/cross/d'  #删除包含cross的行
[root@server ~]# nl test.txt |sed '/cross/!d'  #删除不包含cross的行
[root@server ~]# sed '/^[a-z]/d' test.txt	#删除以小写字母开头的行
[root@server ~]# sed '/\.$/d' test.txt	  #删除以"."结尾的行
[root@server ~]# sed '/^$/d' test.txt	  #删除所有空行
[root@server ~]# sed  -e '/^$/{n;/^$/d}' test.txt	  #删 除 重 复 的 空行 ， 即 连 续 的 空 行 只 保 留 一 个

3.3：替换符合条件的文本

在使用 sed 命令进行替换操作时需要用到 s（字符串替换）、c（整行/整块替换）、y（字符转换）命令选项，常见的用法如下所示:

  • sed ‘s/the/THE/’ test.txt //将每行中的第一个the 替换为 THE
  • sed ‘s/l/L/2’ test.txt //将每行中的第 2 个 l 替换为 L
  • sed ‘s/the/THE/g’ test.txt //将文件中的所有the 替换为 THE
  • sed ‘s/o//g’ test.txt //将文件中的所有o 删除(替换为空串)
  • sed ‘s/^/#/’ test.txt //在每行行首插入#号
  • sed ‘/the/s/^/#/’ test.txt //在包含the 的每行行首插入#号
  • sed ‘s/$/EOF/’ test.txt //在每行行尾插入字符串EOF
  • sed ‘3,5s/the/THE/g’ test.txt //将第 3~5 行中的所有 the 替换为 THE
  • sed ‘/the/s/o/O/g’ test.txt //将包含the 的所有行中的 o 都替换为 O

3.4：迁移符合条件的文本

  • sed ‘/the/{H;d};$G’ test.txt //将包含the 的行迁移至文件末尾,{;}用于多个操作
  • sed ‘1,5{H;d};17G’ test.txt //将第 1~5 行内容转移至第 17 行后
  • sed ‘/the/w out.file’ test.txt //将包含the 的行另存为文件 out.file
  • sed ‘/the/r /etc/hostname’ test.txt //将文件/etc/hostname 的内容添加到包含 the 的每行以后
  • sed ‘3aNew’ test.txt //在第 3 行后插入一个新行,内容为New
  • sed ‘/the/aNew’ test.txt //在包含the 的每行后插入一个新行,内容为 New
  • sed ‘3aNew1\nNew2’ test.txt //在第 3 行后插入多行内容,中间的\n 表示换行

3.5：使用脚本编辑文件

使用 sed 脚本将多个编辑指令存放到文件中（每行一条编辑指令），通过“-f”选项来调用。例如执行以下命令即可将第 1~5 行内容转移至第 17 行后。
sed ‘1,5{H;d};17G’ test.txt #将第 1~5 行内容转移至第 17 行后
以上操作可以改用脚本文件方式：

[root@localhost ~]# vi opt.list
1,5H
1,5d
17G
[root@localhost ~]# sed -f opt.list test.txt
The year ahead will test our political establishment to the limit.
PI=3.141592653589793238462643383249901429
a wood cross!
Actions speak louder than words


#woood # #woooooood # AxyzxyzxyzxyzC
I bet this place is really spooky late at night! Misfortunes never come alone/single.
I shouldn't have lett so tast.


he was short and fat.
He was wearing a blue polo shirt with black pants. The home of Football on BBC Sport online.
the tongue is boneless but it breaks bones.12! google is the best tools for search keyword.
采蘑菇的院长
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell之正则表达式及三剑客sed命令
m0_71521555的博客
08-09 844
Shell三剑客之sed命令
Shell正则表达式学习笔记
01-11
一、正则表达式是什么？ 正则表达式是用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分割、匹配、查找及替换操作。 二、正则表达式与通配符 1. 正则表达式 用来在文件中匹配符合条件的字符...
shell编程（四）| sed 正则表达式
Minz
06-21 1万+
sed一，sed概述sed行编辑器stream editor用来操作纯 ASCII 码的文本处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),可以指定仅仅处理哪些行sed处理完成之后把缓冲区的内容送往屏幕,接着处理下一行,这样不断重复, 直到文件末尾sed符合条件的处理,不符合条件的不予处理,文件内容并没有 改变，除非用重定向存储输出二，调用 sed 命令有...
shell编程-正则表达式/awk/sed
09-02
这个是在培训机构学习的时候老师给的，上传来和大家分享下
linux-Shell编程视频教程
12-03
11.1 Shell编程-正则表达式.mp4 11.2.1 Shell编程-字符截取命令-cut命令.mp4 11.2.2 Shell编程-字符截取命令-printf命令.mp4 11.2.3 Shell编程-字符截取命令-awk命令.mp4 11.2.4 Shell编程-字符截取命令-sed命令.mp4 11.3 Shell编程-字符处理命令.mp4 11.4 Shell编程-条件判断.mp4 11.5.1 Shell编程-流程控制-if语句.mp4 11.5.2 Shell编程-流程控制-case语句.mp4 11.5.3 Shell编程-流程控制-for循环.mp4 11.5.4 Shell编程-流程控制-while循环与until循环.mp4
shell中的正则表达式sed
chunlovenan的专栏
11-30 1381
shell中的正则表达式sed 本文主要说一些正则的基本语法，并且结合linux的各种小工具（egrep、sed、awk）列举一些使用实例。   一、基本语法 正则的基本语法就大概是下面这些，但是正则远不止这些，甚至可以写一本书，当然了，我们这里只列举一些简单的 用法，这些已经可以解决大部分实际问题了。 1、字符类 字符 含
shell-----正则表达式之sed
qq_42761527的博客
12-03 655
一.sed工具概述 sed工具是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。 sed也可以在交互的情况下实现相当复杂的文本处理操作，被应用于shell脚本中，用以完成各种自动化处理任务 sed的工作流程主要包括读取、执行和显示三个过程 读取：sed从输入流（文件、管道、标准输入）中读取...
shell正则表达式及sed
weixin_62173637的博客
01-03 659
shell
1.16 正则表达式
Yusyang_的博客
10-21 394
正则表达式目录正则表达式分类1. 基本正则表达式2. 扩展正则表达式 正则表达式分类 1. 基本正则表达式 //元字符 . //任意单个字符 [] //匹配指定范围内的任意单个字符 [^] //匹配指定范围外的任意单个字符 //匹配次数（贪婪模式） * //匹配其前面的任意单个字符任意次 ...
【shell】shell学习之正则表达式和sed命令
sunny哈哈的博客
10-16 828
shell脚本语言包含了众多用于解决Unix/Linux系统问题的工具，其中有不少和文本处理相关，包括sed、awk、grep(awk和grep命令已经在前面的文章中进行了说明)，这些工具可以相互结合以满足文本处理需求。 正则表达式是一种基础的模式匹配技术。大多数文本处理工具都支持正则表达式，我们可以对文本文件执行过滤、剥离（strip）、替换、搜索等操作。
shell编程之sed,正则表达式
m0_58963135的博客
07-20 366
shell编程之sed,正则表达式
Linux Shell脚本的编程之正则表达式
01-10
1 正则表达式是用在文件中匹配符合条件的字符串，正则是包含匹配，grep，awk，sed等命令可以支持正则表达式 2 通配符是用来匹配符合条件的文件名，通配符是完全匹配，ls，find，cp这些命令不支持正则表达式，所以...
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
shell脚本的正则表达式
热门推荐
编程鸟
11-08 4万+
一、概念： 正则表达式是通过一些特殊字符的排序，用以删除、查找、替换一行或者多行文字字符串的程序。二、特殊字符： 1、字符类 注意：任意字符“.”与重复字符“*” 1）.（小数点）：代表一定有一个任意字符的意思。 2）*（星号）：代表重复前一个0到无穷多次的意思，为组合形态。 【例】 释：“g*”代表的是具有空字符或一个g以上的字符。2、数量限定符 注意： 1）正则表达式的特殊
sed与正则表达式
07-10 5831
sed -i命令详解 sed入门详解教程 sed 是一个比较古老的，功能十分强大的用于文本处理的流编辑器，加上正则表达式的支持，可以进行大量的复杂的文本编辑操作。sed 本身是一个非常复杂的工具，有专门的书籍讲解 sed 的具体用法，但是个人觉得没有必要去学习它的每个细节，那样没有特别大的实际意义。网上也有很多关于 sed 的教程，我也是抱着学习的心态来学习 sed 的常见的用法，并进行系统的总结，内容基本覆盖了 sed 的大部分的知识点。文中的内容比较简练，加以实际示例来帮助去理解 sed 的使用...
sed 常用正则表达式
pingxiaoyudi的专栏
07-15 1377
1.一个比较实用的正则表达式 匹配html的嵌入代码  ]*> 匹配[....]的嵌入码  \[[^]]\{1,\}\] 删除仅由空字符组成的行 sed '/^[[:space:]]*$/d' filename 匹配html标签 /\(]*>\)/ 例如：从html文件中剔除html标签 sed 's/\(]*>\)//g;/^[[:space:
sed正则表达式讲解（很不错）
L1259863243的博客
02-24 7121
sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反...
shell 正则表达式之sed
weixin_55905026的博客
06-14 631
sed与Awk正则表达式正则表达式概述1.正则表达式定义 正则表达式 正则表达式概述 1.正则表达式定义 正则表达式,又称正规表达式、常规表达式 使用字符串来描述、匹配一系列符合某个规则的字符串·正则表达式组成 普通字符 大小写字母、数字、标点符号及一些其他符号 元字符 在正则表达式中具有特殊意义的专用字符 正则表达式层次 基础正则表达式 精确查找:"<good>" :精准匹配good 0*会匹配所有内容：如果有空白行也会匹配出。 00*会匹配至少包含一个0的行。
ShellScript脚本编程(一)
最新发布
qq_65463941的博客
05-02 657
和和. hello.sh两种运行的方式差异性在于，第一种是在子bash环境下运行，而第二种是在当前bash环境下运行，我们通过运行可以看到（source 是 shell 内嵌）我们执行ps -f可以查看当前bash环境，创建一个子bash，继续通过ps -f查看，在当前子bash环境下，你依然可以运行shell文件如果子shell中设置的当前变量，父shell是可不见的age = 20全局变量和局部变量的区别全局变量：层层嵌套的子bash依然可以访问。
shell编程正则表达式
08-25
Shell编程中的正则表达式是一种用于匹配和操作字符串的强大工具。它使用特定的语法规则来描述和匹配符合某个模式的字符串。在Shell编程中，常用的工具如grep、sed和awk都支持使用正则表达式进行模式匹配和文本处理。正则表达式由普通字符和特殊字符（元字符）组成。普通字符指的是任意字母、数字或其他字符，而元字符具有特殊的意义和功能，用于表示模式中的特定字符或符号。通过使用正则表达式，可以实现字符串的匹配、替换、提取等操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Shell编程之正则表达式](https://blog.csdn.net/weixin_51099370/article/details/124568808)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Linux操作系统——Shell编程 正则表达式](https://blog.csdn.net/weixin_46411355/article/details/125628828)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值