Shell脚本：三剑客(sed)

最新推荐文章于 2024-07-18 09:55:17 发布
最新推荐文章于 2024-07-18 09:55:17 发布
阅读量248 收藏
点赞数
分类专栏： Shell 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LBP20001204/article/details/126336276
版权

目录

一、sed

1、基本用法

 2、sed脚本格式

 3、搜索替代

一、sed

sed 即 Stream EDitor，和 vi 不同，sed是行编辑器

Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间（PatternSpace），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。一次处理一行的设计模式使得sed性能很高，sed在读取大文件时不会出现卡顿的现象。如果使用vi命令打开几十M上百M的文件，明显会出现有卡顿的现象，这是因为vi命令打开文件是一次性将文件加载到内存，然后再打开。Sed就避免了这种情况，一行一行的处理，打开速度非常快，执行速度也很快

1、基本用法

sed     [option]...       'script;script;...'        [input  file...]

               选项         自身脚本语法         支持标准输入管道

 常用选项：

  • -n 不输出模式空间内容到屏幕，即不自动打印
  • -e 多点编辑
  • -f FILE 从指定文件中读取编辑脚本
  • -r, -E 使用扩展正则表达式
  • -i.bak 备份文件并原处编辑
  • -s           将多个文件视为独立文件，而不是单个连续的长文件流
[root@localhost ~]#sed 
#提示错误
[root@localhost ~]#sed ''
####默认将输入内容打印出来
aaa
aaa
dd
dd
dd
dd
[root@localhost ~]#sed '' /etc/fstab 
####查看文件内容
#
# /etc/fstab
# Created by anaconda on Fri Aug  6 20:57:12 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=e9364e9b-a85b-49d7-9652-3a56202e14c8 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@localhost ~]#sed '' </etc/fstab 
####支持重定向
#
# /etc/fstab
# Created by anaconda on Fri Aug  6 20:57:12 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=e9364e9b-a85b-49d7-9652-3a56202e14c8 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

[root@localhost ~]#cat /etc/issue |sed ''
#####也支持管道符
\S
Kernel \r on an \m

 2、sed脚本格式

单引号中间需要写脚本；脚本格式如下

'地址+命令'组成


1. 不给地址：对全文进行处理（比如行号）
2. 单地址：
   #：指定的行，$：最后一行
   /pattern/：被此处模式所能够匹配到的每一行
3. 地址范围：
   #,#     #从#行到第#行，3，6 从第3行到第6行
   #,+#   #从#行到+#行，3,+4 表示从3行到第7行
   /pat1/,/pat2/    第一个正则表达式和第二个正则表达式之间的行
   #,/pat/  从#号行为开始找到 pat为止 
   /pat/,#  找到#号个pat为止
4. 步进：~
     1~2 奇数行
     2~2 偶数行
     
命令
p 打印当前模式空间内容，追加到默认输出之后
Ip 忽略大小写输出
d 删除模式空间匹配的行，并立即启用下一轮循环
a [\]text 在指定行后面追加文本，支持使用\n实现多行追加
i [\]text 在行前面插入文本
c [\]text 替换行为单行或多行文本
w file 保存模式匹配的行至指定文件
r file 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
q           结束或退出sed
[root@localhost ~]#seq 10 | sed 'p'
#带有自动打印功能，p又再打印一遍
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
[root@localhost ~]#seq 10 | sed -n 'p'
#-n 选项关闭自动打印功能
1
2
3
4
5
6
7
8
9
10

#如何加入地址
直接显示第三行
[root@localhost ~]#seq 10 | sed -n '3p'
#直接显示第3行
3
[root@localhost ~]#ifconfig ens33|sed -n 2p
#直接显示第二行内容
        inet 192.168.91.100  netmask 255.255.255.0  broadcast 192.168.91.255


###还支持正则表达式

[root@localhost ~]#sed '/root/p' /etc/passwd
###自动打印需要关闭否则会全部打印
root:x:0:0:root:/root:/bin/bash
省略多行。。。。。。。。
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

[root@localhost ~]#sed -n '/root/p' /etc/passwd
##将包含root的行打印出来   /root(需要匹配的内容)/p(打印)  文件名  
###与 grep root /etc/passwd 功能相同
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

 

 

 

 

 

####如何显示范围  行号，行号
[root@localhost ~]#seq 10|sed -n '3,6p'
###显示范围
3
4
5
6
[root@localhost ~]#seq 10|sed -n '3,+4p'
##3 往后加4行
3
4
5
6
7


###还可以匹配 两个正则表达式之间的行
举例子
[root@localhost ~]#cat /etc/passwd
###我想显示b开头 和f开头中间的行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin

[root@localhost ~]#sed -n '/^b/,/^f/p' /etc/passwd
###     基本格式     '/表达式1/,/表达式2/p' (不要忘记打印)p  文件名
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
####匹配方式   如果有多个复合条件的表达式
先开始找b开头一直找到f开头
然后再重新找b开头，一找到f开头，没有f开头就全显示
重复循环

 

#奇数偶数表示
[root@localhost ~]#seq 10|sed -n '1~2p'

[root@localhost ~]#seq 10|sed -n '2~2p'

[root@localhost ~]#seq 10|sed -n '3~3p'

-d选项删除
[root@localhost ~]#seq 10 |sed '3d'
###将第三行删除

##修改文件内容，常常用于修改配置文件
-i   与  -i.bak
修改文件  修改文件前先备份
[root@localhost ~]#seq 10 >test.txt
[root@localhost ~]#cat test.txt 

[root@localhost ~]#sed -i '2~2d' test.txt 
[root@localhost ~]#cat test.txt 

[root@localhost ~]#sed -i '2~2d' test.txt 
[root@localhost ~]#cat test.txt

 

 

[root@localhost ~]#seq 10 |sed '2a \ hehe\nhaha'
###\表示空格    \n 表示换行
1
2
 hehe
haha
3
4
...

[root@localhost ~]#seq 10 |sed '2ihehe'
#第二行前面插入hehe
1
hehe
2
....

[root@localhost ~]#seq 10 |sed '2ihehe'
#第二行前面插入hehe
1
hehe
2
....

[root@localhost ~]#seq 10 |sed '2chehe'
#第二行替换成hehe
1
hehe
3
4
...

[root@localhost ky15]# seq 10 |sed -n '2!p'
#取反
1
3
4
...

 

 3、搜索替代

s/pattern/string/修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
替换修饰符：
g 行内全局替换
p 显示替换成功的行
w   /PATH/FILE 将替换成功的行保存至文件中
I,i   忽略大小写

 

[root@localhost ~]#sed 's/root/admin/g' /etc/passwd


[root@localhost ~]#echo 123abcxyz |sed -r 's/(123)(abc)(xyz)/\1/'
##分组 s//代表查找替换  （）代表分组    \1 代表留下的组
123
[root@localhost ~]#echo 123xyzabc |sed -r 's/(123)(xyz)(abc)/\1\2/'
123xyz
[root@localhost ~]#echo 123xyzabc |sed -r 's/(123)(xyz)(abc)/\1\3/'
123abc

[root@localhost ~]#ifconfig ens33|sed -rn '2s/.*inet ([0-9.]+) .*/\1/p'
192.168.91.100

[root@localhost selinux]#echo /etc/sysconfig/network-scripts/ifcfg-ens33 |sed -nr 's@^(.*)/([^/]+)@\2@p'
ifcfg-ens33

[root@localhost selinux]#cat 1.txt 2.txt 
123
456
123
abc
[root@localhost selinux]#sed -i -e 's/123/cba/' 1.txt  -e 's/abc/789/' 2.txt

 

 

 

 提取版本号：

 

 改配置文件

调用变量来改文件
[root@localhost selinux]#name=root
[root@localhost selinux]#sed -nr '/$name/p' /etc/passwd
#使用双引号
[root@localhost selinux]#sed -nr "/$name/p" /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@localhost selinux]#sed -nr '/'$name'/p' /etc/passwd
#变量上家上单引号
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

 

 

任来世枯朽成灰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell脚本之sed
m0_56107775的博客
05-06 2366
目录一、sed 工具1、概念2、工作流程3、常见sed 命令用法格式4、常见sed命令选项5、常见sed命令操作二、sed 的使用1、输出符合条件的文本（p 表示正常输出） 一、sed 工具 1、概念 sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。 2、工
Shell脚本文本三剑客之Sed
m0_51160032的博客
10-26 5201
一、Sed编辑器 1.1Sed概述 sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。 sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要存储在一个命令文本文件中。 1.2Sed工作流程 sed 的工作流程主要包括读取、执行和显示三个过程： 读取:sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。 执行：默认情况下，所有的sed 命令都在模式空
Shell 文本三剑客 Sed
Drw_Dcm的博客
08-10 391
Shell 文本三剑客 Sed
shell脚本【“sed”命令】
m0_61187759的博客
05-19 403
sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。sed的工作流程主要包括读取、执行和显示sed从输入流（文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space)。执行:默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。显示:发送修改后的内容到输出流。
【Linux】管道命令split、awk、sed【二】
四季轮换叶，一路招摇胜
09-15 1180
Linux管道命令是 “ | ”，其作用是用来连接多条指令，前一条指令的输出流会作为后一条指令的操作对象，其命令格式为“指令1 | 指令2 | …”
shell脚本中的sed命令用法
m0_61689114的博客
07-10 2030
原文链接：https://blog.csdn.net/qq_43028054/article/details/93136955。sed -n ‘/^hello/s//bin/bash//sbin/nologin/p’ /etc/passwd（转义）例2：df -h | sed '//dev/sda1/r /etc/mtab‘sed -n ‘3,100!例1：sed -n ‘s/root/ROOT/2p’ /etc/passwd。例2：sed ‘/^id/s/:3:/:6:/’ /etc/inittab。
shell脚本-正则、grep、sed、awk三剑客
12-16
在企业工作中，每天做的Linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等，而我们经常会有迫切的需要，从大量的字符串内容中查找符合工作需要的特定字符串。...
shell脚本三剑客.docx
03-25
sed 命令是利用脚本来处理文本文件，可以依照脚本的指令来处理、编辑文本文件，主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。 sed 实例选项介绍： * `-n`：静默输出，一般和 `p` 一起...
第二十四章：shell脚本-正则、grep、sed、awk三剑客1
08-08
3.基础正则表达式： ^word 搜索以word开头的 4.扩展的正则表达式：ERE（egrep或grep -E） + 重复一次或一次以上前面的一个字符 5.理
sed命令格式解析.docx
10-17
在Linux世界中，sed（stream editor，流编辑器）是不可或缺的工具之一，被誉为Linux三剑客之一，常用于文本处理、数据转换等任务。它的基本命令格式分为两种： 1. **格式1：** ```bash 前置命令 | sed [选项] '...
shell最全基础2020年入门—从熟悉grep、sed、awk开始
01-09
用户可以通过Shell脚本编写一系列命令，实现自动化任务。Shell有很多种类型，如Bash（Bourne-Again SHell）是最常见的Shell，适用于大多数Linux发行版。 二、Shell常用操作 在Shell中，用户可以进行文件管理、进程...
11.吐血整理sed入门到精通,sed语法,脚本命令,打印,替换,删除,插入,行替换,字符替换,保存,插入,中断,脚本地址,正则表达式,sed实操手册
细致-专业-实操
11-06 2812
文章目录前言sed介绍1. sed介绍2.sed语法介绍3.sed脚本命令1.打印2.s 替换3.删除脚本命令 d3.插入脚本命令 a/i4.行替换脚本命令 c4.字符替换脚本 y5.保存内容脚本 w6.插入其他文本 r6.中断退出脚本命令 q脚本命令当中的地址[address]正则表达式sed [选项]1.sed -i 选项2. sed -e选项3.sed -f 选项4.sed -r 选项总结 前言 这节详细讲解sed的用法，也结合之前学过的正则表达式。文章完全从小白角度出发，花费了很长时间编辑，尽量
shell基础-数据重定向和管道-正则表达式-grep-sed-awk
Coding_one_的博客
07-17 194
sed命令会从文件或者标准输入中一次读取一行数据，将其复制到缓冲区，然后读取命令行货脚本的编辑子命令，对缓冲区的文本进行编辑。命令编辑的文件是原始文件在缓冲区中的副本，因此编辑操作并不影响原来的文件，并且输出到屏幕。其中，标准输入可以是来自键盘，文件重定向，字符串，变量或者是管道的文本。命令是一个非交互式的文本编辑器，它可以对来自文本文件，以及标准输入的文本进行。说明：就是将前一个命令的输出作为一个命令的输入，使用管道符。命令使用正则表达式来搜索文本，并且把匹配的文本打印处理。匹配一行的开头，例如。
sed命令（五）--sed脚本
weixin_41176080的博客
09-29 147
问题 问题： 本案例要求编写脚本getupwd.sh，实现以下需求： 找到使用bash做登录Shell的本地用户 列出这些用户的shadow密码记录 按每行“用户名-->密码记录”保存到getupwd.log，如下图所示 方案 基本思路如下： 1.先用sed工具去除登录Shell为/bin/bash的用户记录,并用sed的替换功能编辑取出对应的用户名 2.用for...
sed管道命令及数据处理工具awk命令
爱吃_宫爆鸡丁
08-07 3385
sed管道命令工具：分析standard input，对比数据、替换c、删除d、新增a、插入i、选择 语法：sed [-nefri] [动作] -n：使用安静模式，在一般情况所有的 STDIN 都会输出到屏幕上，加入-n 后只打印 被 sed 特殊处理的行 -e：多重编辑，且命令顺序会影响结果 -f：直接将sed的动作写在一个文件中，然后-f filename则可执行filename内的sed...
文本三剑客之sed
weixin_58376680的博客
02-01 1279
sed 的工作流程主要包括读取、执行和显示三个过程: 读取: sed从输入流（文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。 执行：默认情况下，所有的sed 命令都在模式空间中顺序地执行， 除非指定了行的地址，否则sed命令将会在所有的行上依次执行。 显示:发送修改后的内容到输出流(屏幕)。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上.述过程将重复执行，直至所有内容被处理完。
[Linux ] sed文本处理和免交互
热心网友
11-28 962
1.sed 命令是一个流编辑器，可以逐行读取文件，也可以执行命令操作，因此如果文件过大，有必要先将其分割，然后再传递给 sed 进程。2.sed -r 是正则表达式"Ⅾ{n}Ⅾ{n,m}Ⅾ"的扩展，去掉了"Ⅾ"。3.使用 -i 命令时，一定要先备份（尤其是重要文件）或做实验，确保没有错误后再使用 -i。4.sed 命令集中于四种功能--添加、删除、更改和检查，在脚本中用于更改设置或添加重要文件时特别有效。
Linux -软件安装
最新发布
z2331198564653的博客
07-18 887
项目开发好需要部署，而项目本身可能依赖其他软件。这时在部署项目时就需要安装依赖的软件。比如: jdk mysql tomcat redis rabbitmq es等。
shell脚本三剑客是啥
09-18
shell脚本三剑客是指在Unix类操作系统中经常使用的三个命令行工具，它们分别是：grep、sed和awk。 1. grep是用于在文本中搜索指定模式的工具，它可以通过正则表达式进行模式匹配，并将匹配到的内容进行显示或处理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值