Linux文本处理三剑客之sed

最新推荐文章于 2024-06-17 19:58:50 发布
最新推荐文章于 2024-06-17 19:58:50 发布
阅读量431 收藏
点赞数
原文链接：https://www.zhihu.com/org/qian-feng-jiao-yu-39
版权

Linux文本处理三剑客之sed

一、sed工作流程

sed 是一种在线的、非交互式的编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区
中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容
送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

sed -ri.bak
sed -ric --follow-symlinks


二、命令格式
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
注：
sed和grep不一样，不管是否找到指定的模式，它的退出状态都是0
只有当命令存在语法错误时，sed的退出状态才是非0


三、支持正则表达式
    与grep一样，sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达式是
括在斜杠间的模式，用于查找和替换，以下是sed支持的元字符。
使用基本元字符集    ^, $, ., *, [], [^], \< \>,\(\),\{\}
使用扩展元字符集    ?, +, { }, |, ( )

使用扩展元字符的方式：
\+
sed -r


四、sed基本用法
# sed -r '' /etc/passwd
# sed -r 'p' /etc/passwd
# sed -r -n 'p' /etc/passwd
# sed -r -n '/root/p' /etc/passwd
# sed -r 's/root/alice/' /etc/passwd
# sed -r 's/root/alice/g' /etc/passwd
# sed -r 's/root/alice/gi' /etc/passwd

# sed -r '/root/d' /etc/passwd
# sed -r '\#root#d' /etc/passwd
========================================================
[root@tianyun ~] vim a.txt 
/etc/abc/456
etc

[root@tianyun ~]# sed -r '//etc/abc/456/d' a.txt 
sed：-e 表达式 #1，字符 0：no previous regular expression

[root@tianyun ~]# sed -r '/\/etc\/abc\/456/d' a.txt 
/etc/abc/456

[root@tianyun ~]# sed -r '\#/etc/abc/456#d' a.txt
/etc/abc/456

[root@tianyun ~]# sed -r 's#/etc/abc/456#/dev/sda1#'
========================================================
五、sed扩展
＝＝地址（定址） 
地址用于决定对哪些行进行编辑。地址形式可以是数字、正则表达式或二者的结合。如果没有指定
地址，sed将处理输入文件中的所有行。

# sed -r 'd' /etc/passwd    
# sed -r '3d' /etc/passwd
# sed -r '1,3d' /etc/passwd
# sed -r '/root/d' /etc/passwd
# sed -r '/root/,5d' /etc/passwd
# sed -r 's/root/alice/g' /etc/passwd

# sed -r '/^adm/,20d' /etc/passwd       //删除到第20行
# sed -r '/^adm/,+20d' /etc/passwd    //再删除20行
# sed -r '2,5d' /etc/passwd
# sed -r '/root/d' /etc/passwd
# sed -r '/root/!d' /etc/passwd

# sed -r '1~2d' /etc/passwd                 //删除所有奇数行 odd-numbered
# sed -r '0~2d' /etc/passwd                 //删除所有偶数行 even-numbered


＝＝sed命令
sed命令告诉sed对指定行进行何种操作，包括打印、删除、修改等。

命令             功能
a               在当前行后添加一行或多行
c               用新文本修改（替换）当前行中的文本
d               删除行
i               在当前行之前插入文本
l               列出非打印字符
p               打印行
n               读入下一输入行，并从下一条命令而不是第一条命令开始对其的处理
q               结束或退出sed
!               对所选行以外的所有行应用命令

s               用一个字符串替换另一个
                s 替换标志
                g   全局替换
                i   忽略大小写
r               从文件中读                
w               将行写入文件
y               将字符转换为另一字符（不支持正则表达式）

h               把模式空间里的内容复制到暂存缓冲区(覆盖)
H               把模式空间里的内容追加到暂存缓冲区
g               取出暂存缓冲区的内容，将其复制到模式空间，覆盖该处原有内容
G               取出暂存缓冲区的内容，将其复制到模式空间，追加在原有内容后面
x               交换暂存缓冲区与模式空间的内容


==选项
选项          功能
-e              允许多项编辑
-f              指定sed脚本文件名
-n              取消默认的输出
-i              inplace，就地编辑
-r              支持扩展元字符


六、sed命令示例
打印命令：p
# sed -r '/north/p' datafile
# sed -r -n '/north/p' datafile

删除命令：d
# sed -r '3d' datafile
# sed -r '3{d;}' datafile
# sed -r '3{d}' datafile

# sed -r '3,$d' datafile
# sed -r '$d' datafile
# sed -r '/north/d' datafile        
# sed -r '/sout/d' datafile

替换命令：s
# sed -r 's/west/north/g' datafile  
# sed -r 's/^west/north/' datafile  
# sed -r 's/[0-9][0-9]$/&.5/' datafile              //&代表在查找串中匹配到的内容
# sed -r 's/Hemenway/Jones/g' datafile  
# sed -r 's/(Mar)got/\1ianne/g' datafile    
# sed -r 's#3#88#g' datafile            

读文件命令：r
# sed -r '/Suan/r /etc/newfile' datafile    
# sed -r '2r /etc/hosts' a.txt      
# sed -r '/2/r /etc/hosts' a.txt

写文件命令：w
# sed -r '/north/w newfile' datafile        
# sed -r '3,$w /new1.txt' datafile

追加命令：a
# sed -r '2a\1111111111111' /etc/hosts
# sed -r '2a\1111111111111\
> 222222222222\
> 333333333333' /etc/hosts

插入命令：i
# sed -r '2i\1111111111111' /etc/hosts
# sed -r '2i111111111\
> 2222222222\
> 3333333333' /etc/hosts

修改命令：c
# sed -r '2c\1111111111111' /etc/hosts
# sed -r '2c\111111111111\
> 22222222222\
> 33333333333' /etc/hosts

获取下一行命令：n
# sed -r '/eastern/{ n; d }' datafile
# sed -r '/eastern/{ n; s/AM/Archile/ }' datafile           

暂存和取用命令：h H g G
# sed -r '1h;$G' /etc/hosts
# sed -r '1{h;d};$G' /etc/hosts
# sed -r '1h; 2,$g' /etc/hosts
# sed -r '1h; 2,3H; $G' /etc/hosts

暂存空间和模式空间互换命令：x
# sed -r '4h; 5x; 6G' /etc/hosts

反向选择: !
# sed -r '3d' /etc/hosts
# sed -r '3!d' /etc/hosts


多重编辑选项：-e
# sed -r -e '1,3d' -e 's/Hemenway/Jones/' datafile  
# sed -r '1,3d; s/Hemenway/Jones/' datafile 

# sed -r '2s/WE/1000phone/g; 2s/Gray/YYY/g' datafile
# sed -r '2{s/WE/1000phone/g; s/Gray/YYY/g}' datafile


七、sed常见操作
删除配置文件中#号注释行
sed -ri '/^#/d' file.conf 
sed -ri '/^[ \t]*#/d' file.conf

删除配置文件中//号注释行 
sed -ri '\Y^[ \t]*//Yd' file.conf

删除无内容空行 
sed -ri '/^[ \t]*$/d' file.conf


删除注释行及空行：
# sed -ri '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*($|#)/d' /etc/vsftpd/vsftpd.conf


修改文件：
# sed -ri '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf
# sed -ri '/^/cSELINUX=disabled' /etc/selinux/config
# sed -ri '/UseDNS/cUseDNS no' /etc/ssh/sshd_config
# sed -ri '/GSSAPIAuthentication/cGSSAPIAuthentication no' /etc/ssh/sshd_config

给文件行添加注释：
# sed -r '2,6s/^/#/' a.txt
# sed -r '2,6s/(.*)/#\1/' a.txt
# sed -r '2,6s/.*/#&/' a.txt                                             &匹配前面查找的内容
# sed -r '3,$ s/^#*/#/' a.txt           将行首零个或多个#换成一个#
# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf
赵晗老师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux文本处理命令：awk、sed、grep
07-06
awk、sed、grep是linux的三剑客，在文本处理的场景中，掌握这三个命令真的是很有用
linux 文本 处理 三剑客 之 sed 命令
01-07
文章目录1.sed命令的定义2.sed命令选项3....原来的内容是在磁盘当中放着，现在用sed命令处理的时候将内容掉入内存的一个地方用户处理，这个处理空间也叫模式空间. sed命令可以处理文件中的数据或者用户输
sed: -e expression #1, char 0: no previous regular expression
corpse2010的专栏
08-29 4149
sed执行替换操作，单独执行不存在问题，但是脚本中执行报上述信息: ###手工执行############# [root@k8s-t01 tmp]# a=88888888 [root@k8s-t01 tmp]# b=ffffffff [root@k8s-t01 tmp]# sed -i "s/${a}/${b}/g" q1.txt [root@k8s-t01 tmp]# more q1.txt xxxxx||yyyyyy||zzzzzz|11111||22222||333||ffffffff||0...
ssh中使用sed在文件末尾插入行报错sed: -e expression #1
最新发布
gaodi2002的博客
06-17 127
for h in `cat aa.txt`;do ssh -i id_rsa -o StrictHostKeyChecking=no ccadmin@$h "sudo sed -i '$a\gaodi' /tmp/sysctl.conf";done提示报错sed: -e expression #1, char 6: un...
三剑客之sed命令
weixin_46837396的博客
03-17 669
一 sed介绍 ​ sed全称（stream editor）流式编辑器，Sed主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等，工作流程如下 sed 是一种在线的、非交互式的编辑器，它一次处理一行内容。处理时，把当前处理的行存储在 临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完 成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出,或者使用sed -i选项
linux12shell编程 --＞ 三剑客之sed命令
明日之星
06-17 400
文章目录三剑客之sed命令一 、sed介绍二 、sed选项与基本用法示例1、 sed选项2、 sed命令组成1、数字2、正则表达式3、数字+正则表达式4、 \cregexpc1、如果c是左斜杠,不需要转义也可以2、如果匹配的正则里有左斜杠，要么将正则转义，要么将c转义三、 sed常用命令1、命令与功能2、sed命令示例四 、模式空间与保持空间1、sed 有两个内置的存储空间：2、模式空间与保持空间的操作命令3、示例:交换文件的行五、 sed脚本六 、练习 三剑客之sed命令 一 、sed介绍 ​ se
10. Regular Expression Matching
xiaoxiaosuwy的博客
06-27 768
题目返回true和false,即解决可行不可行问题，脑海中首先浮现的是可以使用动态规划的方法，那么也可以使用递归的方法。然而。。。却写不出方程式（o(╥﹏╥)o） 想了几分钟，回归了关于动态规划的笔记（观看B站上讲解时做的），还是没有啥思路。就果断看大佬们的做法了。参考链接：https://blog.csdn.net/qq_40280096/article/details/82117696...
shell 编程的老臣 - sed
wujiandao的专栏
09-09 1972
vi/vim 的世界里多了两个兄弟：sed 和 gawk. sed: stream editor. 在编辑器处理数据之前，根据事先提供的规则来编辑数据流。 sed 有点类似于 Kafka, 对数据进行一行一行的编辑，行云流水，没有半点拖沓。当然 kafka 更加强大，实时捕获数据，还能指定更复杂的处理逻辑，并且能够发送到任何地方保存起来。sed 能接受的源头是文本文件，最终的结果还只能是普通的文本...
linux文本三剑客
11-22
linux文本三剑客，兄弟做了常用的总结，平常经常用的到的参数
Linux 三剑客 Awk、Sed、Grep 命令详解
08-17
Linux 三剑客 Awk、Sed、Grep 命令详解 AWK 命令详解 AWK（Aho, Weinberger, and Kernighan）是一种功能强大的文本处理语言，主要用于处理文本和数据。它可以从标准输入、文件或其他命令的输出中读取数据，并对其...
正则表达式regular expression详述 最全
02-28
正则表达式是regular expression，看来英文比中文要好理解多了，就是检查表达式符 <br>不符合规定！！正则表达式有一个功能十分强大而又十分复杂的对象RegExp，在Javascript1.2 版本以 <br>上提供。 <br>
Linux三剑客命令从入门到放弃
03-25
在"Linux三剑客命令从入门到放弃.pdf"这本书中，你将逐步学习这些知识，从基础操作到进阶技巧，掌握这三个命令的精髓，从而在处理文本数据时更加游刃有余。无论你是初学者还是有一定经验的Linux用户，这都是提升技能...
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大部分linux只支持基本的正则表达式。 hel...
sed r命令使用
很多东西学会了可以不用记录的，记录的都是寂寞罢了
06-13 1万+
sed中的r命令会把其后面的任何字符判读为文件名，直到回车符或是单引号，一般对r命令的写法有下面的几种：sed /pattern/{r file1other cmd} file  # 因为这里里面使用了{}，所以可以添加其它命令 sed /pattern/ r file1 file  sed -e /pattern/{r file1 -e other c
shell三剑客练习 05
明日之星
06-27 402
grep # 1、^ 行首 [root@mm ~]# grep '^root' /etc/passwd awk -F: '/^root/' passwd.txt # 2、$ 行尾 [root@openvpn grep]# grep 'bash$' /etc/passwd root:x:0:0:root:/root:/bin/bash www:x:666:666::/home/www:/bin/bash # 3、. 除了换行符以外的任意单个字符 [root@openvpn grep]#grep 'r.
[sh]sed 4个功能
weixin_33994444的博客
03-27 144
[root@lanny test]# cat test.txt test liyao lanny   经典博文: http://oldboy.blog.51cto.com/2561410/949365 http://blog.csdn.net/hello_hwc/article/details/39528879  http://blog.csdn.net/hello_...
sed: -e expression #1, unknown option to `s' 解决办法
HeatDeath的博客
03-09 8832
sed: -e expression #1, unknown option to `s'解决办法 需要替换的行为： monitor.url=http://192.168.25.100:8443/rest 查询资料得知，报错是因为替换的字符串包含有分隔符/ 修改为： monitor.url=http:\/\/192.168.25.100:8443\/rest 即可 sed: -...
sed 命令详解
热门推荐
weixin_56270746的博客
05-08 1万+
一、sed概念及工作原理 1、sed 工具概述 sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。 sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。 sed 依赖于正则表达式 2、sed 的工作流程 主要包括读取、执行和显示三个过程。 读取：sed 从输入流（文件、管道、标准输入）中读取一行内容
linux文本处理三剑客
05-04
Linux 文本处理三剑客指的是三个经典的文本处理工具，包括： 1. grep：用于在文件中搜索指定文本模式的工具，可支持多种正则表达式。 2. sed：用于流编辑的工具，可进行文本替换、删除、插入等操作。 3. awk：一种文本处理语言，可进行数据提取、格式化、计算等操作。 这三个工具都是在终端命令行下运行，并且都是 Linux 系统自带的，非常方便实用。常用于日志分析、数据挖掘、系统管理等场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值