Shell脚本正则表达式与sed基础

已于 2022-02-28 15:40:16 修改
阅读量914 收藏 1
点赞数
分类专栏： Shell 文章标签： 正则表达式 前端 后端
于 2021-12-12 23:14:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45775710/article/details/121894504
版权

目录

一、正则表达式

1.1 扩展正则符号

1.2 Perl兼容的正则符号

1.3 grep语法格式

二、sed基础 

2.1 常用命令选项

2.1.2 正则定位

2.3 使用sed修改配置

2.3.1 Delete指令

2.3.2 Replace指令

2.3.3 Substitution

2.3.4 正则符号()

2.3.5 =打印行号

2.4 多行文本处理

2.4.1 Inset指令

2.4.2 Append指令

2.4.3 Read指令

2.4.4 Write指令

三、DEMO

四、总结 

一、正则表达式

正则表达式，描述一个字符集合的表达方式
模糊匹配

  

1.1 扩展正则符号

grep需要加上-E参数扩展正则才可用

1.2 Perl兼容的正则符号

例如\b匹配单词，因此sbin不会被显现 

1.3 grep语法格式

用法：grep [选项] 匹配模式 [文件] ...
常用选项：
-i 忽略大小写
-v 取反匹配
-w 匹配单词
-q 静默匹配，不将结果显示在屏幕上

匹配示ou但前面不为th的内容

 

 以点结尾的内容，需要反斜杠取义

 所有的大小写字母都被过滤出来

二、sed基础 

sed（Stream Editor）：流式编辑器，非交互式，逐行处理，可以对文本进行增删改查等操作

语法：

sed [选项] '[定位符]指令' 文件名
命令 | sed  [选项] '[定位符]指令'

-n参数会将单引号的内容显现出来，3为定位符指第三行，p是指令在这里是打印的意思，希望sed打印第三行的内容，若不加-n选项，会把内容都显示出来同时第三行打印两次。1,2代表第一二行

sed是逐行处理，流程将从第一行处理，如'3p'，当处理到第三行，匹配定位符和指令才进行打印，但还会继续第四行去匹配，直到文件结束

xm@ubuntu:~/shell$ sed -n '3p' /etc/passwd
bin:x:2:2:bin:/bin:/usr/sbin/nologin
xm@ubuntu:~/shell$ sed -n '1,2p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

2.1 常用命令选项

-n：屏蔽默认输出
-i：直接修改源文件
-r：支持扩展正则 

2.1.1 行号定位sed可以使用行号来定位自己需要修改的数据内容

"sed -n '1~2p' /etc/passwd"，从1行开始，步长为2，因此打印1，3，5...直到结束
"sed -n '2,+3p' /etc/passwd"，从2行开始，同时打印接下来的3行

2.1.2 正则定位

sed可以使用正则匹配需要的数据，然后再编辑对应的内容，在sed使用正则需要两个斜线括起来，同时扩展正则需要加入-r选项

注意以上内容不会修改源文件，若需要修改源文件加入-i选项

2.3 使用sed修改配置

常用的sed指令

p（print）：打印行；
d（delete）：删除行；
c（replace）：替换行；
s（substitution）：替换关键词；
=：打印行号

以下指令，根分区/前面加入\进行了转义

xm@ubuntu:~/shell$ df -h | sed -n '/\/$/p'
/dev/sda1        40G   20G   18G  53% / 

 xm@ubuntu:~/shell$ sed -n '1p;3p;6p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:2:2:bin:/bin:/usr/sbin/nologin
games:x:5:60:games:/usr/games:/usr/sbin/nologin
xm@ubuntu:~/shell$ sed -n '2!p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin

2.3.1 Delete指令

2.3.2 Replace指令

替换将会是整一行

2.3.3 Substitution

替换关键词指令

"sed 's/2046/XXXX/' test.txt "只替换一次
"sed 's/2046/XXXX/g' test.txt "全替换一次
"sed 's/2046/(&)/2' test.txt"其中&代表被替换词

xm@ubuntu:~/shell$ cat test.txt 
2046 2048 2046 2046
1001 2046 2999 1888
2046 2046 2046 2046
xm@ubuntu:~/shell$ sed 's/2046/XXXX/' test.txt 
XXXX 2048 2046 2046
1001 XXXX 2999 1888
XXXX 2046 2046 2046
xm@ubuntu:~/shell$ sed 's/2046/XXXX/g' test.txt 
XXXX 2048 XXXX XXXX
1001 XXXX 2999 1888
XXXX XXXX XXXX XXXX
xm@ubuntu:~/shell$ sed 's/2046/XXXX/2' test.txt 
2046 2048 XXXX 2046
1001 2046 2999 1888
2046 XXXX 2046 2046
xm@ubuntu:~/shell$ sed 's/2046/(&)/2' test.txt 
2046 2048 (2046) 2046
1001 2046 2999 1888
2046 (2046) 2046 2046
xm@ubuntu:~/shell$ sed '2s/2046/XXXX/g' test.txt 
2046 2048 2046 2046
1001 XXXX 2999 1888
2046 2046 2046 2046 
xm@ubuntu:~/shell$ sed '2s/2046//g' test.txt 
2046 2048 2046 2046
1001  2999 1888
2046 2046 2046 2046
xm@ubuntu:~/shell$ sed -n '2s/2046/XXXX/p' test.txt 
1001 XXXX 2999 1888

替换符/可以用其他字符，因为替换词可能会出现/，例如"/bin/bash"

2.3.4 正则符号()

具有保留功能

2.3.5 =打印行号

2.4 多行文本处理

常用指令

i（inset）：插入
a（append）：追加
r（read）：读取文件|导入文件内容
w（write）：文件另存为|导出文件内容

2.4.1 Inset指令

行前插入

xm@ubuntu:~/shell$ sed '2i ABC_XYZ' test.txt 
2046 2048 2046 2046
ABC_XYZ
1001 2046 2999 1888
2046 2046 2046 2046
xm@ubuntu:~/shell$ sed '/2046/i ABC_XYZ' test.txt 
ABC_XYZ
2046 2048 2046 2046
ABC_XYZ
1001 2046 2999 1888
ABC_XYZ
2046 2046 2046 2046

2.4.2 Append指令

追加，行后写入

xm@ubuntu:~/shell$ sed '2a ABC_XYZ' test.txt 
2046 2048 2046 2046
1001 2046 2999 1888
ABC_XYZ
2046 2046 2046 2046
xm@ubuntu:~/shell$ sed '/2046/a ABC_XYZ' test.txt 
2046 2048 2046 2046
ABC_XYZ
1001 2046 2999 1888
ABC_XYZ
2046 2046 2046 2046
ABC_XYZ

2.4.3 Read指令

将其他文件的内容导入
"sed '2r /etc/hosts' test.txt "从第二行开始导入
"sed 'r /etc/hosts' test.txt "每一行都导入
"sed '/1888/r /etc/hosts' test.txt"在1888行开始导入

xm@ubuntu:~/shell$ sed '2r /etc/hosts' test.txt 
2046 2048 2046 2046
1001 2046 2999 1888
127.0.0.1    localhost
127.0.1.1    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
2046 2046 2046 2046
xm@ubuntu:~/shell$ sed 'r /etc/hosts' test.txt
2046 2048 2046 2046
127.0.0.1    localhost
127.0.1.1    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
1001 2046 2999 1888
127.0.0.1    localhost
127.0.1.1    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
2046 2046 2046 2046
127.0.0.1    localhost
127.0.1.1    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
xm@ubuntu:~/shell$ sed '/1888/r /etc/hosts' test.txt
2046 2048 2046 2046
1001 2046 2999 1888
127.0.0.1    localhost
127.0.1.1    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
2046 2046 2046 2046

2.4.4 Write指令

将文件内容导出另存到其他文件

 xm@ubuntu:~/shell$ sed '2,3w line.txt' test.txt 
2046 2048 2046 2046
1001 2046 2999 1888
2046 2046 2046 2046
xm@ubuntu:~/shell$ cat line.txt 
1001 2046 2999 1888
2046 2046 2046 2046

三、DEMO

随机点名脚本

抓取网页图片

四、总结 

小宝是狗子啊
关注
专栏目录
Linux Shell脚本之正则表达式
江晓龙的博客
05-08 1752
正则表达式RE 重要的文本处理工具：vim sed awk grep 1.什么是正则表达式？ 正则表达式（regular expression，RE）是一种字符模式，用于在查找过程中匹配指定的字符。 在大多数程序里，正则表达式都被置于两个斜杠之间；例如/l[oO]ve/就是由正斜杠界定的正则表达式。 它将匹配被查找的行中任何位置出现的相同模式，在正则表达式中，元字符是重要的概念 匹配数字：1+$ ^：以xxx开头，+前面的对象出现一个或多个，$是以xxx结尾，[]里面的是匹配的模式 匹配mail：[a-z
shell脚本之正则表达式与grep
m0_56107775的博客
05-05 1436
目录一、正则表达式1、正则表达式的定义2、grep命令3、基础正则表达式4、扩展正则表达式二、文本处理器1、cut2、sort3、uniq4、tr总结 一、正则表达式 1、正则表达式的定义 什么是正则表达式： 正则表达式，又称规则表达式，（英语：Regular Expression）在代码中常简写为 regex、regexp 或 RE ，计算机科学的一个概念。 作用： 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本 正则表达式不只有一种，而且 Linux 中不同的程序可能会使用不同
sed及正则表达式
热门推荐
巧克力人生的博客
10-13 1万+
10月17日任务 9.4/9.5 sed sed sed 是一种新型的,非交互式的编辑器。它能执行与编辑器 vi 和 ex 相同的编辑任务。sed 编辑器没有提供交互式使用方式,使用者只能在命令行输入编辑命令、指定文件名,然后在屏幕上查看输出。sed 编辑器没有破坏性,它不会修改文件,除非使用 shell 重定向来保存输出结果。默认情况下,所有的输出行都被打印到屏幕上。 sed能实现grep匹配功...
1.16 正则表达式
Yusyang_的博客
10-21 530
正则表达式目录正则表达式分类1. 基本正则表达式2. 扩展正则表达式 正则表达式分类 1. 基本正则表达式 //元字符 . //任意单个字符 [] //匹配指定范围内的任意单个字符 [^] //匹配指定范围外的任意单个字符 //匹配次数（贪婪模式） * //匹配其前面的任意单个字符任意次 ...
sed 正则表达式
痴迷无限好
12-24 363
cat hotdog |sed 's/[0-9]//g'|sort|uniq -c|sort -nr -k2|more 1 正则表达式简介 正则表达式（Regular Expression）是一种描述文本（或字符串）模式的工具。正则表达式常用于查找文本的场合。想想一下我们日常生活中的例子，假如你想从电话本里找一个联系人的电话，而你又想不起联系人名字的准确拼法，你可以把电话本从头到尾翻...
【转】sed正则表达式
weixin_30802171的博客
03-31 196
1 正则表达式简介 正则表达式（Regular Expression） 是一种描述文本（或字符串）模式的工具。正则表达式常用于查找文本的场合。想想一下我们日常生活中的例子，假如你想从电话本里找一个联系人的电话，而你又 想不起联系人名字的准确拼法，你可以把电话本从头到尾翻一遍，如果电话本里联系人少的话也许并不是什么麻烦事，但想象一下如果这是记录着公司所有员工的电 话本，你面临的工作便复杂得多了，有...
sed正则表达式
linfengfeiye的专栏
11-11 1312
"|" "(" ")" 等属于正则表达式的POSIX扩展， 在sed里不直接支持 需要加转义字符"\" 。 也就是说得这样使用：  \|    \(    \) ------------------------------------------------------------------------ 下面的资料摘自： http://www.debian.org/doc/manu
shell之正则表达式及三剑客sed命令
m0_71521555的博客
08-09 885
Shell三剑客之sed命令
Shell正则表达式之grep、sed、awk实操笔记
09-15
本文主要探讨了在Shell脚本编程中如何运用`grep`、`sed`与`awk`结合正则表达式来实现一些具体的需求。这些工具在文本处理方面极其强大，通过灵活运用它们，可以高效地完成文本搜索、替换、格式化等任务。 #### 二、...
Shell的sed与正则表达式
qq_44685426的博客
06-08 1372
sed命令：过滤处理操作 sed [选项] [sed的内置命令] 执行文件 sed的原理：从执行文件从按行读取数据，然后通过匹配对应的数据，进行对应的过滤和修改 #匹配失败，默认会输出到屏幕（可以取消）；匹配成功则进行编辑（通过对应的策略） 选项： -n 取消sed的默认输出，常与p命令一起使用 -i 直接将修改的结果写入文件（如果不用i，则默认修改的只是sed的内存数据，即:文件数据没有修改） -e 多次编辑，不需要管道符 -r 支持扩展正则
正则表达式 —— Sed
最新发布
五彩斑斓的黑@的博客
08-14 1865
sed -r -n '/(99：){2}/p' /etc/passwd (99：) ：分组 {2}：出现两次 p：打印。sed -n 's/root/test/gp' /etc/passwd 把所有root都替换为test。sed -n 's/root/test/p' /etc/passwd 只替换当前行的第一个root。sed -n 's/root/test/2p' /etc/passwd 替换当前行两个root。
shell编程之sed编辑器
m0_58076958的博客
06-13 489
本章主要介绍了sed的使用方法
正则表达式之sed
chunyang315的博客
01-17 4191
grep命令还不够强大，它只能用于查找，而不能进行替换。这里就需要用到sed以及awk命令了，他们能把替换的文本输出到屏幕上，而且还有其他丰富的功能。它们都是流式编辑器。是针对文本的行来进行操作的。 （1） 打印出包含指定字符串的行 sed -n '/root/'p test.txt //打印出包含root的行 （2）同时也是支持.或者*和+的 sed -nr '/
shell编程之sed,正则表达式
m0_58963135的博客
07-20 409
shell编程之sed,正则表达式
Sed与正则表达式
weixin_42225437的博客
05-16 489
sed sed是Stream Editor（字符流编辑器）的缩写，简称流编辑器。 sed是操作、过滤和转换文本内容的强大工具 常用功能包括结合正则表达式对文件实现快速增删改查，其中查询的功能中最常用的两大功能是过滤（过滤指定字符串）、取行（取出指定行）。 语法： sed [选项] [sed内置命令字符] [输入文件] 选项： 参数选项 解释 -n 取消默认sed的输出，常与sed内置命令p一起用（p代表打印） -i 直接将修改结...
sed与正则表达式
07-10 6071
sed -i命令详解 sed入门详解教程 sed 是一个比较古老的，功能十分强大的用于文本处理的流编辑器，加上正则表达式的支持，可以进行大量的复杂的文本编辑操作。sed 本身是一个非常复杂的工具，有专门的书籍讲解 sed 的具体用法，但是个人觉得没有必要去学习它的每个细节，那样没有特别大的实际意义。网上也有很多关于 sed 的教程，我也是抱着学习的心态来学习 sed 的常见的用法，并进行系统的总结，内容基本覆盖了 sed 的大部分的知识点。文中的内容比较简练，加以实际示例来帮助去理解 sed 的使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值