8.shell文件处理三剑客之sed

最新推荐文章于 2024-05-16 21:08:45 发布
最新推荐文章于 2024-05-16 21:08:45 发布
阅读量233 收藏 1
点赞数
分类专栏： shell 文章标签： linux centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61269220/article/details/125726953
版权

文章目录

一，sed的作用

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务

1.1工作流程
  • sed 的工作流程主要包括读取、执行和显示三个过程

读取：
sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）

执行：
默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行

显示：
发送修改后的内容到输出流。在发送数据后，模式空间将会被清空
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完

注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

二，sed 命令常见用法

  • 通常情况下调用 sed 命令有两种格式

1.sed [选项] ‘操作’ 参数

2.sed [选项] -f scriptfile 参数
“参数”是指操作的目标文件， 当存在多个操作对象时用，文件之间用逗号“，”分隔；
而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件

2.1常见的 sed 命令选项
选项含义
-f 或–file=表示用指定的脚本文件来处理输入的文本文件
-n –quiet 或 silent表示仅显示处理后的结果
-i直接编辑文本文件
-r, -E使用扩展正则表达式
-s将多个文件视为独立文件，而不是单个连续的长文件流
-h 或–help显示帮助
-e 或–expression=表示用指定命令或者脚本来处理输入的文本文件
2.2常见的操作

操作”用于指定对文件操作的动作行为，也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5～ 20 行之间进行，则表示为“5，20 动作行为

参数含义
a增加，在当前行下面增加一行指定内容
c替换，将选定行替换为指定内容
d删除，删除选定的行
i插入，在选定行上面插入一行指定内容
p打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用
s替换，替换指定字符
y字符转换
3.基本用法 例
3.1 输出符合条件的文本（p 表示正常输出）

文件 i 内容

[root@qjm ky20]# cat i     ##前面是行号
  1 320102199106101111
  2 tet
  3 test
  4 teat
  5 atelt
  6 tesalt
  7 tselt
  8 tsalt
  9 teet
 10 tseset
 11 tesest
 12 tealt
 13 tsst
 14 teesst
 15 teslt
 16 1 2 3 4 5
 17 1 2 3 4 5
 18 2
 19 3
 20 4
 21 5

1.查看输出第几行

[root@qjm ky20]# cat test | sed -n '3p'
test

2.查看输出第几到几到行

[root@qjm ky20]# cat test | sed -n '3,5p'
 test
 teat
 atelt

3.输出所有奇数行,n 表示读入下一行资料，p表示打印

[root@qjm ky20]#  sed -n 'p;n' i
1
3
5

4.输出所有偶数行,n 表示读入下一行资料

[root@qjm ky20]#  sed -n 'n;p' i
2
4

5.输出第 1~5 行之间的奇数行(第 1、3、5 行) 的内容

[root@qjm ky20]#  sed -n '1,5{n;p}' i
tet
teat
tesalt

6.输出第 10 行至文件尾之间的偶数行

在执行“sed -n‘10,${n;p}’ i”命令时，读取的第 1 行是文件的第 10 行，读取的第 2
行是文件的第 11 行，依此类推，所以输出的偶数行是文件的第 11 行、13 行直至文件结尾， 其中包括空行

[root@qjm ky20]#  sed -n '10,${n;p}' i
tesest
tsst
teslt
1 2 3 4 5
3
5

7.直接显示第二行内容

[root@qjm ky20]# ifconfig ens33|sed -n 2p  
        inet 192.168.113.126  netmask 255.255.255.0  broadcast 192.168.113.255

8.输出包含ens33的行，test是网卡信息

[root@qjm ky20]# sed -n '/ens33/p' test
NAME=ens33
DEVICE=ens33

9.输出从第 10 行开始第一个包含 ens33 的行

[root@qjm ky20]# sed -n '10,/ens33/p' test
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33

10.输出包含ens33的行所在的行号,等号(=)用来输出行号

[root@qjm ky20]# sed -n '/ens33/=' test
12
14

11.输出以 I 开头的行

[root@qjm ky20]# sed -n '/^I/p' test
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes

12.输出以数字结尾的行

[root@qjm ky20]# sed -n '/[0-9]$/p' test
NAME=ens33
UUID=548f4e9b-9958-4ae2-b61c-0dbc15f3e7a8
DEVICE=ens33

13.输出包含单词ens33 的行,<、>代表单词边界，,<、>有特殊含义要转移

[root@qjm ky20]# sed -n '/\<ens33\>/p' test
NAME=ens33
DEVICE=ens33
3.2 删除符合条件的文本（d 删除，删除选定的行）
  • sed 命令的几种常用删除用法
  • 下面命令中 nl 命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果

1.删除第 3 行

[root@qjm ky20]# cat i
320102199106101111
tet
test
teat
[root@qjm ky20]# nl i |sed '3d'
     1	320102199106101111
     2	tet
     4	teat

2.删除第 3到5 行

[root@qjm ky20]# nl i |sed '3,5d'
     1	320102199106101111
     2	tet
     6	tesalt

3.删除包含 tes的行,如果要删除不包含 cross 的行,用!符号表示取反操作, 如’/cross/！d’

[root@qjm ky20]# nl i |sed '/tes/d'
     1	320102199106101111
     2	tet
     4	teat
     5	atelt
     7	tselt

4.删除以小写字母开头的行

[root@qjm ky20]# sed '/^[a-z]/d' i
320102199106101111
1 2 3 4 5
1 2 3 4 5

5.删除以"."结尾的行

[root@qjm ky20]# sed '/\.$/d' test.txt

6.删除所有空行

[root@qjm ky20]# sed '/^$/d' test.txt

注 意 ： 若 是 删 除 重 复 的 空行 ， 即 连 续 的 空 行 只 保 留 一 个 ， “cat -s i” ，cat -s是不输出多行空行

3.3 替换符合条件的文本 ***

在使用 sed 命令进行替换操作时需要用到

s（字符串替换）

c（整行/整块替换）

y（字符转换）命令选项

常见的用法：

1.将每行中的第一个tet 替换为 aaa

[root@qjm ky20]# sed 's/tet/aaa/' i
320102199106101111
aaa
test aaa
aaaat tet
atelt aaa

2.将每行中的第 2个 tet 替换为 aaa

[root@qjm ky20]# sed 's/tet/aaa/2' i
320102199106101111
tet
test tet
tetat aaa

3.将文件中的所有tet 替换为 AAA

[root@qjm ky20]# sed 's/tet/AAA/g' i
320102199106101111
AAA
test AAA
AAAat AAA

4.将文件中的所有o 删除(替换为空串)

[root@qjm ky20]# sed 's/t//g' i
320102199106101111
e
es e
ea e

5.在每行行首插入#号

[root@qjm ky20]# sed 's/^/#/g' i
#320102199106101111
#tet

6.包含tet的每行行首插入#号

[root@qjm ky20]# sed '/tet/s/^/#/g' i
320102199106101111
#tet
#test tet

7.在每行行尾插入字符串EOF

[root@qjm ky20]# sed 's/$/ AAA/g' i
320102199106101111 AAA
tet AAA
test tet AAA

8.将第 3~5 行中的所有 t替换为 T

[root@qjm ky20]# sed '3,5s/t/T/g' i
320102199106101111
tet
TesT TeT
TeTaT TeT
aTelT TeT

9.将包含tet的所有行中的 a 都替换为 Q

[root@qjm ky20]# sed '/tet/s/a/Q/g' i
320102199106101111
tet
test tet
tetQt tet
Qtelt tet
3.4 迁移符合条件的文本

在使用 sed 命令迁移符合条件的文本时，常用到以下参数
H:复制到剪贴板
g、G:将剪贴板中的数据覆盖/追加至指定行
w：保存为文件
r：读取指定文件
a：追加指定内容。具体操作方法如下所示
I,i 忽略大小写

1.将包含tet 的行迁移至文件末尾,{;}用于多个操作,太长自己试

[root@qjm ky20]# sed '/tet/{H;d};$G' i

2.将第 1~5 行内容转移至第 17 行后,太长自己试

[root@qjm ky20]# sed '1,5{H;d};17G' i

3.将包含tet 的行另存为文件q.txt

[root@qjm ky20]# sed '/tet/w q.txt' i

[root@qjm ky20]# ls
access_log  i  passwd  q.txt  shadow  test

[root@qjm ky20]# cat q.txt 
tet
test tet
tetat tet

4.将文件/etc/hostname 的内容添加到包含 tet 的每行以后

[root@qjm ky20]# sed '/tet/r /etc/hostname' i
320102199106101111
tet
qjm
test tet
qjm

5.在第 3 行后插入一个新行,内容为New

[root@qjm ky20]# sed '3aNew' i
320102199106101111
tet
test tet
New

6.在包含tet 的每行后插入一个新行,内容为 New

[root@qjm ky20]# sed '/tet/aNew' i
[root@qjm ky20]# sed '/tet/aNew' i
320102199106101111
tet
New
test tet
New

7.在第 3 行后插入多行内容,中间的\n 表示换行

[root@qjm ky20]# sed '3aNew1\nNew2' i
320102199106101111
tet
test tet
New1
New2
注：若要以上操作生效在原文件，加 - i 即可

5.在第 3 行后插入一个新行,内容为New

[root@qjm ky20]# sed '3aNew' i
320102199106101111
tet
test tet
New

6.在包含tet 的每行后插入一个新行,内容为 New

[root@qjm ky20]# sed '/tet/aNew' i
[root@qjm ky20]# sed '/tet/aNew' i
320102199106101111
tet
New
test tet
New

7.在第 3 行后插入多行内容,中间的\n 表示换行

[root@qjm ky20]# sed '3aNew1\nNew2' i
320102199106101111
tet
test tet
New1
New2
注：若要以上操作生效在原文件，加 - i 即可
是个笨小孩
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell替换文件中的文件路径脚本分享
09-15
主要介绍了shell替换文件中的文件路径脚本,需要的朋友可以参考下
Shell编程三剑客（二）
LS19990712的博客
10-09 203
一、sed工具 sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell脚本中，用以完成各种自动化处理任务。 二、sed 的工作流程主要包括读取、执行和显示三个过程 1....
shell命令之sed 命令详解
最新发布
2401_83786744的博客
05-16 803
sed编辑器sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。sed 的工作流程主要包括读取、执行和显示三个过程：•读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
shell中通过sed替换文件中路径
yinghuochong124的博客
07-23 1876
通常sed指令修改行内容时使用：sed ‘s/替换前字符串/替换后字符串/g’ json文件名 由于用作替换的字符串里面不包括与sed替换格式相同的"/"，因此可以正常使用。 But，当希望通过sed方式修改配置文件中的目录时，由于用作替换的目录字符换（datapath=/home/datatest/）中包含"/"，会影响sed的作用。 However，可用通过一下sed方式做替换操作：sed -i " 9 s|^.*|${datapath}|" 即：把"/“替换为”|" BTW,sed中使用“”比使用‘
shell脚本中使用sed替换路径字符串
理想不再遥不可及
08-28 5904
示例场景如下： shell中获取某一bin的路径（如ctags），并将其写入到某一配置文件（如.vimrc）中。 首先 ctags_bin=`which ctags` 获取bin的路径，然后插入到配置文件的某一行 sed -i '' 's#let Tlist_Ctags_Cmd.*#let Tlist_Ctags_Cmd = '"\'${ctags_bin}\'"'#g' ~/.vimrc 这...
Shell文本处理三剑客之sed的使用
01-08
sed 是 stream editor 的缩写，流编辑器，主要用于对标准输出或文件进行处理。 语法： stdout | sed [option] pattern command sed [option] pattern command file1 常用选项（option） # -n 只打印静默模式匹配...
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 ...
shell三剑客过滤文件内字符串长度输出
01-09
这里提到的"Shell三剑客"指的是awk、grep和sed，它们是处理文本数据的强大工具。当我们需要过滤文件中的内容，例如根据字符串长度进行筛选时，这三者都能发挥重要作用。下面我们将详细介绍如何使用awk、grep和sed来...
sed命令格式解析.docx
10-17
在Linux世界中，sed（stream editor，流编辑器）是不可或缺的工具之一，被誉为Linux三剑客之一，常用于文本处理、数据转换等任务。它的基本命令格式分为两种： 1. **格式1：** ```bash 前置命令 | sed [选项] '...
shell 定义绝对路径，出错 sed: 未找到命令，脚本功能：替换某一行内容
Wynne的博客
11-23 2395
脚本功能主要是切换到给定的绝对路径，利用sed替换绝对路径下一个文本的内容 由于切换路径的时候没有切换过去，导致sed命令报错，报错截图如下： 错误脚本内容如下： #!/bin/bash PATH=/home/wynne/change_name cd $PATH sed -i "s/third:3333/third:4444/g" original 第二行和第三行的定义PATH，以及cd切换目录，没有执行成功，所以导致第四行的sed命令报错：未找到命令 未切换成功路径原因：PATH是lin
ls | sed “s:^:`pwd`/:“ 列出当前目录中文件的绝对路径
LauraXv的博客
10-16 1250
使用 命令可以列出当前目录下文件的绝对路径，但是这句话的原理是什么呢？ ls列出了当前目录下所有非隐藏文件 | 表示通道，将ls的输出作为下一个命令的输入 sed 是Linux中的文件处理工具 ，它可以将输入的文本按行处理，并将处理后的文本按行打印在标准输出中 双引号内的内容是sed的命令，其中，开头的s表示替换文本，接着用了3个冒号作为分隔符，来分隔替换前和替换后的文本，如： 这里将hello替换成了Hello。 可以发现，使用双引号和单引号都行，并且这里使用/将两个文本隔开，所以事实上，分隔符的使用也
如何使用sed命令查找并替换文件中的路径？和在sed中引入shell变量的四种方法
weixin_40545512的博客
08-25 4424
原文链接 https://blog.csdn.net/weiyuefei/article/details/62216107 今天在写一个脚本遇到问题，----需要在sed中引入shell变量，在网上搜了变天才找到，经过测试 这四种方法都可用，在这里跟大家分享下，=---同时谢谢netman大哥，前辈就是前辈哈哈 1.eval sed ’s/$a/$b/’ filename 2.sed "s/...
linux sed判断开头是否符合,sed 命令的使用及shell判断语句
weixin_29441555的博客
05-25 943
sed 命令的使用及shell判断语句sed—>stream editor 行编辑器，sed [option] ‘address command’ filenameaddress 有以下几种 n eg ‘3d’ 删除第三行n1,n2 eg ‘3,7d’ 删除第三行到第七行/regexp/ eg ‘/^com/d’ 删除以com开头的行1,/regexp/ eg ‘1,/rege...
linux sed判断开头是否符合,sed忽略以正则表达式开头的行
weixin_42510243的博客
05-25 914
我试图在shell脚本中使用sed替换属性文件中的属性;下面列出的命令完全正常sed "s!${KEY}=.*!${KEY}=${NEWVAL}!" infile > outfile问题 – 这个人也会在评论中替换匹配的“KEY”.示例文件：############ws.clients=http://abc123.comws.clients=http://123.com###########...
巧用sed命令判断是否为整数
行路者
06-27 1585
中心思想就是，把需要判断的部分，去掉非数字部分，如果去掉之后和去掉之前相等，则一定为整数： 具体的命令如下： [ “`echo ”$1" | sed -r 's#[^0-9]##g'`"  = $1 ] || { echo "the input is integer" } 其中-r参数，是Sed 使用扩展正则的说明。 命令 s 是替换命令。替换和取代文件中的文本可以通过
sed:处理报文输出
冲浪口
08-29 218
处理报文输出 当从数据库中执行语句输出时，一旦有了输出结果，脚本即可做进一步处理。通常先做一些整理，下面是一个s q l查询结果。 [Copy to clipboard] [ - ] CODE: [sam@chenwy sam]$ cat data.txt Database Size(MB) DataCreated ----------------------------- ...
sed用法详解
他山之石 可以攻玉
05-31 4482
sed在处理文本时是逐行读取文件内容，读到匹配的行就根据指令做操作，不匹配就跳过。 sed是Linux下一款功能强大的非交互流式文本编辑器，可以对文本文件进行增、删、改、查等操作，支持按行、按字段、按正则匹配文本内容，灵活方便，特别适合于大文件的编辑。本文主要介绍sed的一些基本用法，并通过shell脚本演示sed的使用实例。 1.sed的使用方法，调用sed 命令的语法有两种： 一.在命令行指定sed指令对文本进行处理：sed +选项‘指令’ 文件 二.先将sed指令保存到文件中，将该文件作为..
if条件语句sed命令
zfx1997的博客
10-24 4597
if语句分为三种： 1、单分支结构 if [条件] then 命令 fi 2.双分支 3、多分支 练习1： 编写shell脚本，当系统内存小于一百时，进行邮件警报，并且每隔三分钟检验一次。 free -m 用来查看系统的内存#！/bin/bashmem=`free -m | grep buffers/|awk -F " " '{print $4}'` #
shell三剑客awk sed grep
02-24
Shell三剑客是指awk、sed和grep，它们是在Unix/Linux系统中非常常用的命令行工具，用于文本处理和数据提取。 1. awk（Aho, Weinberger, and Kernighan）是一种强大的文本处理工具，它可以根据指定的规则对文本进行分析和处理。awk以行为单位读取文本文件，并按照指定的规则进行匹配和处理。它支持自定义变量、条件语句、循环语句等，可以用于数据提取、格式化输出等任务。 2. sed（Stream Editor）是一种流式文本编辑器，它主要用于对文本进行替换、删除、插入等操作。sed按照指定的规则对输入文本进行处理，并将结果输出到标准输出或者文件中。它支持正则表达式匹配、替换、删除等操作，可以用于批量处理文本文件。 3. grep是一种强大的文本搜索工具，它可以在文件中查找指定的模式，并将匹配的行输出到标准输出。grep支持基本正则表达式和扩展正则表达式，可以根据不同的选项进行模式匹配、大小写敏感等操作。它常用于查找特定内容或者过滤文件中的行。 这三个工具在Shell脚本编程和命令行操作中非常常用，可以灵活处理文本数据，提取所需信息，实现各种文本处理任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值