shell正则表达式及sed

z.. l..

已于 2023-01-03 18:57:17 修改

阅读量720

点赞数 1

文章标签：正则表达式

于 2023-01-03 17:55:39 首次发布

本文链接：https://blog.csdn.net/weixin_62173637/article/details/128536223

版权

1.基本正则表达式

^ 在每行的开始进行匹配

$ 在每行的末尾进行匹配

. 对任何单个字符进行匹配

* 对前一项进行0次或多次重复匹配

[str] 对str中的任何单个字符进行匹配

[^str] 对任何不在str中的单个字符进行匹配

[a-b] 对a到b 之间的任何字符进行匹配

\ 忽略后面一个字符的特殊含义

1 ） ^word 表示搜索以 word 开头的内容。

2 ） word$ 表示搜索以 word 结尾的内容。

3 ） ^$ 表示空行，不是空格。

4 ） . 代表且只能代表一个任意字符。

5 ） \ 转义字符，让有着特殊身份意义的字符失效。

例如： \. 只表示小数点，还原原始的小数点的意义。

6 ） * 重复 0 个或多个前面的字符

7 ） .* 匹配所有的字符。 ^.* 任意多个字符开头。

8 ） [] 匹配字符集合内任意一个字符，如 [a-z]

9)[^abc] ^ 在中括号里表示非，不包含 a 或 b 或 c

10 ） {n,m} 匹配 n 到 m 次，前一个字符。

{n,} 至少 N 次，多了不限。

{n} n 次

{,m} 至多 m 次，少了不限。

注意： grep 要将 {} 转义， \{\},egrep 不需要转义

12 ）  ，定义子表达式的开始和结束位置。例如，正则表达式 “$love$.*\1” 表示匹配 2 个 “love” 中

间包含任意个字符的文本行，其中 “\1” 表示引用前面的 “love”

13 ） \< 或 \b: 锚定词首 ( 支持 vi 和 grep) ，其后面的任意字符必须作为单词首部出现，如 \<love 或 \blove

14 ） \> 或 \b: 锚定词尾 ( 支持 vi 和 grep) ，其前面的任意字符必须作为单词尾部出现，如 love\> 或 love\b

[[:alnum:]] 匹配任意一个字母或者数字，等价于[A-Za-z0-9]

[[:alpha:]] 匹配任意一个字母，等价于[A-Za-z]

[[:digit:]] 匹配任意一个数字，等价于0-9

[[:lower:]] 匹配任意一个小写字母，等价于a-z

[[:upper:]] 匹配任意一个大写字母，等价于A-Z

[[:space:]] 匹配任意一个空白符，包括空格、制表符、换行符以及分页符

[[:blank:]] 匹配空格和制表符

[[:graph:]] 匹配任意一个看得见的可打印字符，不包括空白字符

[[:print:]] 匹配任何一个可以打印的字符，包括空白字符，但是不包括控制字符、字符串结束符‘\0’ 、 EOF 文件结束符（ -1 ）

[[:cntrl:]] 匹配任何一个控制字符，即ASCII字符集中的前32 个字符。例如换行符、制表

符等

[[:punct:]] 匹配任何一个标点符号，例如“[]”、“ ｛｝

” 或者 “,” 等

[[:xdigit:]] 匹配十六进制数字，即0-9、a-f 以及 A-F

2.扩展正则表达式

+ 对前一项进行1次或多次重复匹配

？对前一项进行0次或 1 次重复匹配

{j} 对前一项进行j次重复匹配

{j,} 对前一项进行j次或更多次重复匹配

{,k} 对前一项最多进行k次重复匹配

(s|t) 匹配s项或 t 项中的一项

3.正则表达式练习

1、显示/etc/rc.d/rc.sysinit文件中以不区分大小的h开头的行；

grep -i "^h" /root/shell_practice/20221230/test2.txt

2、显示/etc/passwd中以sh结尾的行;

grep "sh$" /etc/passwd

3、显示/etc/fstab中以#开头，且后面跟一个或多个空白字符，而后又跟了任意非空白字符的行；

[root@manage 20230103]# grep -E "^#[[:space:]].*" /etc/fstab 
# /etc/fstab
# Created by anaconda on Sun Oct 16 09:39:50 2022
# Accessible filesystems, by reference, are maintained under '/dev/disk/'.
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
# After editing this file, run 'systemctl daemon-reload' to update systemd
# units generated from this file.

4、查找/etc/rc.d/rc.local中包含“以to开始并以to结尾”的字串行；

[root@manage 20230103]#  grep -Ew "(to).*\1" /etc/rc.d/rc.local 
# In contrast to previous versions due to parallel execution during boot

5、查找/etc/inittab中含有“以s开头，并以d结尾的单词”模式的行；

[root@manage 20230103]#  grep -E "\<s[a-Z]*d\>" /etc/inittab 
# Ctrl-Alt-Delete is handled by /usr/lib/systemd/system/ctrl-alt-del.target
# systemd uses 'targets' instead of runlevels. By default, there are two main targets:

6、查找ifconfig命令结果中的1-255之间的整数；


[root@manage 20230103]# ifconfig | grep -Ew "[0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]"
        inet 192.168.27.110  netmask 255.255.255.0  broadcast 192.168.27.255
        inet6 fe80::1e16:116d:4a43:8ae1  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:7e:60:ec  txqueuelen 1000  (Ethernet)
        RX packets 306239  bytes 201501311 (192.1 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 178010  bytes 18215187 (17.3 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        RX packets 600  bytes 99019 (96.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 600  bytes 99019 (96.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

7、显示/var/log/secure文件中包含“Failed”或“FAILED”的行；

[root@manage 20230103]# grep -E  "(Failed|FAILED)" /var/log/secure

8、在/etc/passwd中取出默认shell为bash的行；

[root@manage 20230103]# grep "bash$" /etc/passwd
root:x:0:0:root:/root:/bin/bash
gj:x:1000:1000:gj:/home/gj:/bin/bash
test1:x:1001:1001::/home/test1:/bin/bash
test2:x:1002:1002::/home/test2:/bin/bash
clase28:x:1030:1030::/home/clase28:/bin/bash
clase29:x:1031:1031::/home/clase29:/bin/bash
jjj:x:1032:2000::/home/jjj:/bin/bash
rhel:x:1033:1033::/home/rhel:/bin/bash

9、以长格式列出/etc/目录下以ns开头、.conf结尾的文件信息；

[root@manage 20230103]# ls -l | grep "\<ns[a-Z]*.conf\>"
-rw-r--r-- 1 root root    0 Jan  3 17:51 nsdfg.conf

10、高亮显示passwd文件中冒号，及其两侧的字符；

[root@manage 20230103]# grep --color ".:." /etc/passwd

4.shell编程之sed

4.1工作原理

sed 是一种流编辑器，它是文本处理中非常有用的工具，能够完美的配合正则表达式使用，处理时，把当前处理的行存储在临时缓冲区中，称为模式空间，接着用sed 命令处理缓冲区中的内容，处理成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内并没有改变。

4.2 sed格式语法及选项

sed OPTIONS… [SCRIPT] [INPUTFILE…]

常用的选项：

-n ， --quiet ， --silent ：不输出模式空间中的内容，使用安静模式，在一般 sed 的用法中，所有来自

STDIN 的数据一般都会被列出到屏幕上，但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行才会被

列出来；

-i ：直接编辑原文件，而不是由屏幕输出，默认不对原文件进行操作；

-e ：直接在命令行模式上进行 sed 的动作编辑，多个子命令之间可以用分号隔开； -e script 表示以选项中

指定的 script 来处理输入的文本文件；

-r ：使用扩展正则表达式；

-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作

4.3 地址定界

1 ） # ： # 为数字，指定要进行处理操作的行； 1 ，表示第一行；

2 ） $ ：表示最后一行，多个文件进行操作的时候，为最后一个文件的最后一行；

3 ） /regexp/ ：表示能够被 regexp 匹配到的行；

regexp 即基于正则表达式的匹配；

4 ） /regexp/I ：匹配时忽略大小写；

5 ） \%regexp%: 任何能够被 regexp 匹配到的行，换用 % （用其他字符也可以，如： # ）为边界符号；

6 ） addr1,addr2 ：指定范围内的所有的行（范围选定）；

常用地址定界表示方式：

a ） 0 ， /regexp/ ：从起始行开始到第一次能够被 regexp 匹配到的行。

b ） /regexp/,/regexp/ ：被模式匹配到的行内的所有的行。

7 ） first~step ：指定起始的位置及步长，例如： 1~2 表示 1,3,5…

8 ） addr1,+N ：指定行以及以后的 N 行；

addr1,~N ：指定行开始的 N 行；

4.4 常用编辑命令

1 ） d ：删除匹配到的行

2 ） p ：打印模式空间中的内容

3 ） a \text ： append, 表示在匹配到的行之后追加内容

4 ） i \text ： insert, 表示在匹配到的行之前追加内容

5 ） c \text ： change, 表示把匹配到的行和给定的文本进行交换

6 ） s/regexp/replacement/flages ：查找替换 , 替换 regexp 匹配到的内容（其中 / 可以用其他字符代

替，例如 @ ）

其他编辑命令：

r 读入文件内容追加到匹配行后面

R 读入文件一行内容追加到匹配行后面

常用的 flages ：

g ：全局替换，默认只替换第一个

i ：不区分大小写

p ：如果成功替换则打印

4.5 sed扩展

！         对指定行以外的所有行应用命令

=         打印当前行行号

~         “first~step”表示从first 行开始，以步长 step 递增

&         代表被替换的内容

；          实现一行命令语句可以执行多条sed 命令

{}         对单个地址或地址范围执行批量操作

+         地址范围中用到的符号，做加法运算

4.6 sed练习

1、删除/etc/grub2.conf文件中所有以空白开头的行行首的空白字符

[root@manage 20230103]# sed 's/^[[:space:]]//' grub2.cfg

2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

[root@manage 20230103]# sed 's/^#[[:space:]]*//' /etc/fstab 


/etc/fstab
Created by anaconda on Sun Oct 16 09:39:50 2022

3、在/etc/fstab文件中不以#开头的行的行首增加#号

[root@manage 20230103]# sed 's/^[^#]/#&/' /etc/fstab

4、在/root/install.log每一行行首增加#号

[root@manage 20230103]# sed '1,$ i #' passwd 
#
root:x:0:0:root:/root:/bin/bash
#

5、利用sed 取出ifconfig命令中本机的IPv4地址

[root@manage 20230103]# ifconfig | sed -n '2p'| sed 's/.*inet[[:space:]]//' | sed 's/[[:space:]]netmask.*//'
192.168.27.110

6、关闭本机SELinux的功能

[root@node2 ~]# sed 's/enforcing/permissive/' /etc/selinux/config 

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     permissive - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of permissive.
#     disabled - No SELinux policy is loaded.
SELINUX=permissive

7、在/etc/hosts配置文件中添加内容

[root@manage 20230103]# sed '$ a hhh' /etc/hosts
cbicn
cjoejci
jeovejp
vhojc0wkc
hhh