Shell编程及自动化运维实现第5章(正则表达式 grep、sed、awk)

最新推荐文章于 2023-08-14 11:10:12 发布

来世做夕阳

最新推荐文章于 2023-08-14 11:10:12 发布

阅读量309

点赞数 1

分类专栏：云计算文章标签： shell linux centos

本文链接：https://blog.csdn.net/weixin_44898311/article/details/108475058

版权

云计算专栏收录该内容

33 篇文章 0 订阅

订阅专栏

1.正则表达式

前言

名词解释
正则表达式（regular expression, RE）是一种字符模式，用于在查找过程中匹配指定的字符。在大多数程序里，正则表达式都被置于两个正斜杠之间；例如/l[oO]ve/就是由正斜杠界定的正则表达式，它将匹配被查找的行中任何位置出现的相同模式。在正则表达式中，元字符是最重要的概念。
工具
被vim、sed、awk、grep调用
场景
mysql、oracle、php、python ，Apache，Nginx… 需要正则
提示
//?在shell中表示一个字符，shell不区分大小写

回顾

		------------------------------------示例1----------------------------------------------
			需求
				匹配数字的脚本：用户输入创建账号的数量
			语法
				[[ ^[0-9]+$ ]]
				正确：123 456 
				错误：5y7
				提示：+       加号是一次到多次
			示范
				read -p "输入数字才退出:  " num

			while :
			do

			if [[ ! $num =~ ^[0-9]+$ ]];then
  			  echo "error enter!"
    			read -p "输入数字才退出：" num
			else
  			  echo "thank you"
       		 exit 1
			fi
			done

		------------------------------------示例2------------------------------------------
			需求
				匹配字母和数字还有下划线的密码
			语法
				[a-z0-9_]{7}
				正确： 111 222 a；   sdf 234 a； 21e s21 a；
				错误:    sdfasda ；    1232131 ；  234 asd  
			_包含下划线
			{7}前方出现7次
			
			示范
				read -p "输入七位数字和字母才退出:  " num

				while :
				do

				if [[ ! $num =~ [a-z0-9_]{7} ]];then
  			  	echo "error enter!"
   				 read -p "输入七位数字和字母才退出：" num
				else
  			 	 echo "thank you"
    			exit 1
				fi
				done

		----------------------------------------------示例3-----------------------------------------------
			需求
				请查找出文本中的IP地址
			语法
# egrep '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' /etc/sysconfig/network-scripts/ifcfg-ens33
# egrep '[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}' /etc/sysconfig/network-scripts/ifcfg-eth0 
		IPADDR=172.16.100.1
		NETMASK=255.255.255.0
		GATEWAY=172.16.100.254
			示范
				
		-----------------------------------------------示例4------------------------------------------------
			需求
				判断用户输入的字符，小写字符显示lower，大写字符显示upper数字显示digit，其他则显示特殊字符speical char
			语法
				[[:lower:]]* 表示小写
				[[:upper:]]* 表示大写
				[[:digit:]]* 表示数字
			示范
				#!/bin/bash
				read -p "Input char: " char
				case $char in
			 [[:lower:]]*)
  			 echo "lower..."
		    ;;
			 [[:upper:]]*)
 		   echo "Upper..."
  			  ;;
			 [[:digit:]]*)
    		echo "digit..."
  			  ;;
			 *)
  			  echo "Special char..."
  			  ;;
			esac
		----------------------------------------------示例5-----------------------------------------------
			需求
				将文本中的tom替换成David
					素材
				tom
				anatomy
				tomatoes
				tomorrow
				aaatom
				Tom

		不用正则
		:% s/tom/David/g	 
		//如tom、anatomy、tomatoes及tomorrow中的“tom”被替换了，而Tom确没被替换
		使用正则
		:% s/\<[Tt]om\>/David/g			
		//tom  Tom开头或结尾被替换了，anatomy、tomatoes及tomorrow没有被替换

元字符

定义：

元字符是这样一类字符，它们表达的是不同于字面本身的含义

分类：

基本正则表达式元字符

^ 行首定位符

[root@localhost ~]# grep "root" /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@localhost ~]# grep "^root" /etc/passwd
思考：为什么什么少一行？
root:x:0:0:root:/root:/bin/bash

$ 行尾定位符 love$

.匹配单个字符

[root@localhost ~]# grep abc 1.txt
abc
[root@localhost ~]# grep adc 1.txt
adc
[root@localhost ~]# grep a.c 1.txt
abc
adc

*匹配前导符0到多次

[root@localhost ~]# cat 1.txt 
a
ab
abc
abcd
abcde
abcdef
ggg
hhh
iii
[root@localhost ~]# grep "abc*" 1.txt 
ab
abc
abcd
abcde
abcdef
[root@localhost ~]# grep "abcd*" 1.txt 
abc
abcd
abcde
abcdef

.*任意多个字符

[root@localhost ~]# grep ".*" 1.txt 
a
ab
abc
abcd
abcde
abcdef
ggg
hhh
iii

思考：为什么*.不好使？
[ ]匹配指定范围内的一个字符 [lL]ove
[ - ]匹配指定范围内的一个字符,连续的范围

[a-z0-9]ove         //[a-Z]=[a-zA-Z]

[^]匹配不在指定组内的字符

[^a-z0-9]    //取反
[root@localhost~]# cat  1.txt
love
1ove
|ove

[root@localhost~]# grep [0-9a-Z]ove  1.txt
love
1ove

[root@localhost ~]# grep [^0-9a-Z]ove 1.txt
|ove

\用来转义元字符脱意符

[root@localhost ~]# grep "l." 1.txt 
love
l.ve
[root@localhost ~]# grep "l\." 1.txt 
l.ve

\<词首定位符

[root@localhost ~]# grep "love" 1.txt 
love
iloveyou
[root@localhost ~]# grep "\<love" 1.txt 
love

\>词尾定位符love\>
()匹配稍后使用的字符的标签
通常要加转义元字符$..$

:% s/172.16.130.1/172.16.130.5/
:% s/\(172.16.130.\)1/\15/
:% s/\(172.\)\(16.\)\(130.\)1/\1\2\35/
:3,9 s/\(.*\)/#\1/	加注释

x\{m\}字符x重复出现m次

[root@localhost ~]# grep o 1.txt
love
loove
looove
[root@localhost ~]# grep "o\{3\}" 1.txt
looove

x\{m,\}字符x重复出现m次以上

o\{5,\}
x\{m,n\}    //字符x重复出现m到n次
o\{5,10\}

[root@localhost ~]# egrep "o{4,5}" 1.txt 
oooo
ooooo
ioooo
ooooi
iooooi
[root@localhost ~]# egrep "o{5,5}" 1.txt 
ooooo

扩展正则表达式元字符

+匹配1~n个前导字符

[root@localhost ~]# cat 1.txt
lve
love
loove
[root@localhost ~]# egrep lo+ve 1.txt
love
loove

?匹配0~1个前导字符
lo?ve --？前面的o 有还是没有，都行！

[root@localhost ~]# egrep lo?ve tom.sh 
love
lve

a|b匹配a或b

[root@localhost ~]# egrep "o|v" 1.txt 
lve
1ove
loove
looove
loeve
love
Love
iloveyou
l.ve
o
oo
ooo
oooo
ooooo
ioooo
ooooi
iooooi

()组字符

[root@localhost ~]# egrep "loveable|rs" 1.txt 
rs
loveable
lovers
[root@localhost ~]# egrep "love(able|rs)" 1.txt 
loveable
lovers

示例1
grep love 1.txt----------------找love
/^love/-----------------------------以love开头
/love$/-----------------------------以love结尾
/l.ve/-------------------------------l开始，一个任意字符，ve结尾
/lo*ve/------------------------------l开始，零个或多个o，ve结尾
/[Ll]ove/----------------------------大L 或者小L 开头的 ove
/love[a-z]/love---------------------最后一个小写字母
/love[^a-zA-Z0-9]------------------/love最后一个（不是字母或者数字），而是符号

[root@localhost ~]# egrep  "love[^a-zA-Z0-9]" 1.txt 
love,
love?

示例2
/.*/-------------------------------------所有行
[root@localhost ~]# egrep ".*" 1.txt | wc
/^$/-------------------------------------空行
/^[A-Z]..$/-------------------------------开头一个大写，最后2个任意字符
/^[A-Z][a-z ]*3[0-5]/--------------------一个大写开头，0到多个小写或空格，3，最后是0-5的一个数字
/[a-z]*\./--------------------------------0到多个小写字母，最后一个点
/^ *[A-Z][a-z][a-z]$/--------------------0到多个空格开头，一个大写，一个小写，再一个小写结尾
/^[A-Za-z]*[^,][A-Za-z]*$/--------------0到多个字母开头，非逗号，0到多个英文结尾
/\<fourth\>/------------------------------找个单词
/\<f.*th\>/--------------------------------找单词
/5{2}2{3}\./------------------------------5两次2三次和一个点
/^[ \t]*$/0--------------------------------到多个，空格或tab的行
/^#/--------------------------------------井号开头的行
/^[ \t]*#/---------------------------------有0到多个，空格或者tab开头的行，的注释行
:1,$ s/$[Oo]ccur$ence/\1rence/------------------------多个r
:1,$ s/$square$ and $fair$/\2 and \1/----------------换个位置

2.grep

目的

	过滤，查找文档中的内容

返回值

	0 是找到了
		表示成功；
	1 是没有，表示在所提供的文件无法找到匹配的pattern
	2 找到地儿不对

示范

 ## grep 'root' /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin
 ## echo $?
    0
    
 ## grep 'root1' /etc/passwd  #用户root1并不存在
 ## echo $?
    1
    
 ## grep 'root' /etc/passwd1  #这里的/etc/passwd1文件并不存在
    grep: /etc/passwd1: No such file or directory
 ## echo $?
    2

参数

grep -q 静默

[root@localhost ~]# grep "5\.." 1.txt
5.1
5.2
5.a
5.b
5..
5...
5.aaa
[root@localhost ~]# grep -q "5\.." 1.txt
[root@localhost ~]# echo $?
0

grep -v 去反
grep -R 可以查目录下面的文件

[root@localhost ~]# grep  xulei  /home/
grep: /home/: 是一个目录
[root@localhost ~]# grep -R  xulei  /home/
/home/xulei/.cache/gdm/session.log
/home/xulei/.cache/imsettings/log   [HOME=/home/xulei/.config/imsettings]
匹配到二进制文件 /home/xulei/.cache/tracker/meta.db
匹配到二进制文件 /home/xulei/.cache/tracker/meta.db-wal

grep -o 只找到这个关键字就可以

[root@localhost ~]# grep "a" 1.txt
5.a
5.aaa
a
ab
abc
abcd
abcde
abcdef
loveable
ldfadasfsdave

[root@localhost ~]# grep -o  "a" 1.txt
a
a
a
a
a
a
a
a
a
a
a
a
a
a

grep -B2前两行
grep -A2后两行
grep -C2上下两行
egrep -l 只要文件名

[root@localhost ~]# egrep -l 'root' /etc/passwd
/etc/passwd

egrep -n 带行号

[root@localhost ~]# egrep -n 'xulei' /etc/passwd
43:xulei:x:1000:1000::/home/xulei:/bin/bash

示例
	------------------------grep -E 或 egrep 进行使用--------------------------
	# egrep 'NW' datafile -----------------------在datafile文件中，找NW
	# egrep 'NW' d*------------------------------找NW，文件只要是d开头就可以
	# egrep '^n' datafile--------------------------以n开头的
	# egrep '4$' datafile--------------------------4结尾
	# egrep TB Savage datafile----------------找TB，在savage里找，在datafile里找
	# egrep 'TB Savage' datafile---------------找TB Savage
	# egrep '5\..' datafile--------------------------找五点后面是一个任意字符
	# egrep '\.5' datafile---------------------------找点五
	# egrep '^[we]' datafile------------------------W或E开头
	# egrep '[^0-9]' datafile -----------------------不是0到9
	# egrep '[A-Z][A-Z] [A-Z]' datafile -----------俩大写，空格，大写的行
	# egrep 'ss* ' datafile ---------------------------s开头，0到多个s
	# egrep '[a-z]{9}' datafile ---------------------- 小写字母出现9次
	# egrep '\<north' datafile ----------------------- 单词开头
	# egrep '\<north\>' datafile	-------------------- 就找这个词
	# egrep '\<[a-r].*n\>' datafile --------------------a或r开头，中间任意，n结尾
	# egrep '^n\w*\W' datafile ---------------------- n开头，多个字母，结尾一个非字母
	# egrep '\bnorth\b' datafile ---------------------- 就找north
	# egrep 'NW|EA' datafile -------------------------NW或者EA
	# egrep '3+' datafile ------------------------------ 1个或多个3
	# egrep '2\.?[0-9]' datafile ------------------------ 2开头，0个或1个点，一个数字
	# egrep '(no)+' datafile ----------------------------- 一个或多个no
	# egrep 'S(h|u)' datafile --------------------------- sh或su
	# egrep 'Sh|u' datafile ----------------------------- sh或者u

3.sed

前言

Stream EDitor：流编辑
sed 是一种在线的、非交互式的编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。

接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；

	文本文件->“模式空间”（pattern space）->屏幕
	逐行处理
	内容未变
	编辑文件

格式

1 sed 选项命令文件 sed [options] 'command' file(s)
2 sed 选项 –f 脚本文件sed [options] -f scriptfile file(s)
返回值 都是0，对错不管。只有当命令存在语法错误时，sed的退出状态才是非0

ed和正则表达式

与grep一样，sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达式是括在斜杠间的模式，用于查找和替换，以下是sed支持的元字符。

使用基本元字符集

^, $, ., *, [], [^], \< \>,\(\),\{\}

使用扩展元字符集

?, +, |, ( )

使用扩展元字符的方式：

\+       转义
sed -r   加-r

汇总示例

删除命令： d

#sed -r '/root/d' passwd

匹配词组删除
[root@localhost ~]# sed -r '/root/d' passwd 
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9

#sed -r '3d' passwd

[root@localhost ~]# sed -r '3d' passwd 
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
？？？？？？？？？？？？？？？
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9
operator:x:11:0:operator:/root:/sbin/nologin10

#sed -r '3{d}' passwd

[root@localhost ~]# sed -r '3{d}' passwd 
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9
operator:x:11:0:operator:/root:/sbin/nologin10

#sed -r '3{d;}' passwd {存放sed的多个命令} 3{h;d}，h暂存空间

#sed -r '3,$d' passwd

 删除3到最后一行
[root@localhost ~]# sed -r '3,$d' passwd 
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2

#sed -r '$d' passwd

删除最后一行
[root@localhost ~]# sed -r '$d' passwd 
root:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9

替换命令： s
#sed -r 's/root/aofa/' passwd

[root@localhost ~]# sed -r 's/root/aofa/' passwd 
aofa:x:0:0:root:/root:/bin/bash1
bin:x:1:1:bin:/bin:/sbin/nologin2
daemon:x:2:2:daemon:/sbin:/sbin/nologin3
adm:x:3:4:adm:/var/adm:/sbin/nologin4
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin5
sync:x:5:0:sync:/sbin:/bin/sync6
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown7
halt:x:7:0:halt:/sbin:/sbin/halt8
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin9
operator:x:11:0:operator:/aofa:/sbin/nologin10

		# sed -r 's/^root/aofa/' passwd
			以root开始的词组，替换成aofa
		# sed -r 's/root/aofa/g' passwd
			全部的root被换掉了。

[root@localhost ~]# sed -r ‘s/root/aofa/g’ passwd
aofa❌0:0:aofa:/aofa:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/aofa:/sbin/nologin10
请思考与下面的命令有区别吗？

sed -r ‘s/^root/aofa/’ passwd

		# sed -r 's/[0-9][0-9]$/&.5/' passwd 
			查找双数   结尾的词组

&：替换成双数.5
&有查询结果的含义。

				[root@localhost ~]# sed -r 's/[0-9][0-9]$/&.5/' passwd

root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10.5
如果把 $KaTeX parse error: Expected 'EOF', got '&' at position 42: \dots :% s/.*/#&/g &̲：查询结果的含义 :%\dots$ r 1.txt’ passwd
最后一行，读取新文件1.txt
[root@localhost ~]# sed -r ‘$r 1.txt’ passwd
root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
111111111
2222222
3333333333
# sed -r ‘/root/r 1.txt’ passwd
正则搜寻root
在root后面读取新文件
VI 中也有类似命令
#vim 1.txt
111111111
2222222
3333333333
aaaaaa
bbbbbb
cccccc

😒 r a.txt

		在当前文件中，读取其他文件“部分”内容。
	写文件命令：w(另存为)
		# sed -r 'w 111.txt' 1.txt
			把1.txt全部内容 写入111.txt
		# sed -r '/root/w 123.txt' passwd
			把1.txt 写入111.txt
		# sed -r '1,5w 123.txt' passwd
			把1,5行另存为123.txt

[root@localhost ~]# sed -r ‘1,5w 123.txt’ passwd
root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
[root@localhost ~]# cat -n 123.txt
1 root❌0:0:root:/root:/bin/bash1
2 bin❌1:1:bin:/bin:/sbin/nologin2
3 daemon❌2:2:daemon:/sbin:/sbin/nologin3
4 adm❌3:4:adm:/var/adm:/sbin/nologin4
5 lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5

	追加命令：   a（之后）
		# sed -r 'a123' passwd
			每行后面，都加上123行
		# sed -r '2a123' passwd
			2行后面，加上123行
		sed -r '2a 1111\

3333333
444444’ passwd
插入段落，请使用\转义掉回车，不要忘了分号结束
[root@localhost ~]# sed -r ‘2a1111
3333333
444444’ passwd

root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
1111
3333333
444444
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
插入命令： i（之前）
# sed -r ‘2iaaaaaaaa’ passwd
在第二行插入新行aaaaaaaaaa

[root@localhost ~]# sed -r ‘2iaaaaaaaa’ passwd
root❌0:0:root:/root:/bin/bash1
aaaaaaaa
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
请思考，插入多行怎么办？
[root@localhost ~]# sed -r '2ibbbbbbb\

cccccccc
ddddddd’ passwd
root❌0:0:root:/root:/bin/bash1
bbbbbbb
cccccccc
ddddddd
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
替换整行命令： c
# sed -r ‘2caaaaaaaa’ passwd
把第二行替换成aaaaaaaaa

[root@localhost ~]# sed -r ‘2caaaaaaaa’ passwd
root❌0:0:root:/root:/bin/bash1
aaaaaaaa
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
一行替换多行
是将一行替换成，多行。
[root@localhost ~]# sed -r '2c3333\

44444’ passwd
root❌0:0:root:/root:/bin/bash1
3333
44444
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10

	获取下一行命令：n
		# sed -r '/root/{n;d}' passwd
			n下一行的意思。

找root行，然后下一行，删除

[root@localhost ~]# sed -r ‘/root/{n;d}’ passwd
root❌0:0:root:/root:/bin/bash1
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10

				n：next下一行可以用多次。

[root@localhost ~]# sed -r ‘/root/{n;n;d}’ passwd
root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10

		# sed -r '/root/{n;s/bin/ding/g}' passwd 
			{命令组合}

找到root行，下一行查找替换

[root@localhost ~]# sed -r ‘/root/{n;s/bin/ding/g}’ passwd
root❌0:0:root:/root:/bin/bash1
ding❌1:1:ding:/ding:/sding/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
反向选择: !
# sed -r ‘2, $KaTeX parse error: Expected 'EOF', got '#' at position 34: \dotsot@localhost ~]#̲ sed -r '2,$ d’ passwd
root❌0:0:root:/root:/bin/bash1
# sed -r ‘2, $KaTeX parse error: Expected 'EOF', got '#' at position 35: \dotsot@localhost ~]#̲ sed -r '2,$ !d’ passwd
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
多重编辑： e ；
# sed -r -e ‘1,3d’ -e ‘4s/adm/admin/g’ passwd
[root@localhost ~]# sed -r -e ‘1,3d’ -e ‘4s/adm/admin/g’ passwd
admin❌3:4:admin:/var/admin:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
# sed -r ‘1,3d;4s/adm/admin/g’ passwd
同上
# sed -r ‘2s/bin/ding/g;2s/nologin/bash/’ passwd
[root@localhost ~]# sed -r ‘2s/bin/ding/g;2s/nologin/bash/’ passwd
root❌0:0:root:/root:/bin/bash1
ding❌1:1:ding:/ding:/sding/bash2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
# sed -r ‘2{s/bin/ding/g;s/nologin/bash/}’ passwd
括号省了范围
暂存空间 hHGgx
图示

		暂存和取用命令：h覆盖暂存空间 H追加暂存空间 g覆盖行 G追加行
		# sed -r 'g' passwd
			为什么是空白一片
		# sed -r 'G' passwd
			G是从暂存空间，追加到模式空间。
		# sed -r '1h;$G' passwd
			第一行覆盖到暂存空间;将暂存空间的内容追加到最后一行
		# sed -r '1h;2G;3G;$G' passwd
			第一行覆盖到暂存空间，2后面多一行，3后面多一行，10后面多一行
		# sed -r '1{h;d};$G' passwd 
			第一行进入暂存空间，第一行在模式空间中删除，将暂存空间最佳到最后一行。

就像移动。
[root@localhost ~]# sed -r ‘1{h;d};$G’ passwd
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
root❌0:0:root:/root:/bin/bash1

		# sed -r '1h;2,$g' passwd
			第一行进入暂存空间;将暂存空间覆盖在，2到最后一行，

[root@localhost ~]# sed -r ‘1h;2, $KaTeX parse error: Expected 'EOF', got '#' at position 345: \dots:/bin/bash1 #̲ sed -r '1h;2,3\dots$ G’ passwd
第一行进入暂存空间；2,3行追加进攒存空间；将暂存的内容追加到最后一行

[root@localhost ~]# sed -r ‘1h;2,3H;$G’ passwd
root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
sync❌5:0:sync:/sbin:/bin/sync6
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10
root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
# sed -r ‘4h;5x;6G’ passwd
第四行进入暂存空间；将模式空间第五行和暂存空间互换，将暂存空间的内容追加到第六行。
1-2-3-4-4-6-5
[root@localhost ~]# sed -r ‘4h;5x;6G’ passwd
root❌0:0:root:/root:/bin/bash1
bin❌1:1:bin:/bin:/sbin/nologin2
daemon❌2:2:daemon:/sbin:/sbin/nologin3
adm❌3:4:adm:/var/adm:/sbin/nologin4
adm❌3:4:adm:/var/adm:/sbin/nologin4
sync❌5:0:sync:/sbin:/bin/sync6
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin5
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown7
halt❌7:0:halt:/sbin:/sbin/halt8
mail❌8:12:mail:/var/spool/mail:/sbin/nologin9
operator❌11:0:operator:/root:/sbin/nologin10

请思考，下方命令的每行的顺序。
[root@localhost ~]# sed -r ‘4h;5x;6G;$G’ passwd
实战案例
删除配置文件中#号注释行
# sed -r ‘/^#/d’ /etc/samba/smb.conf
疑难杂症
样本文件
[root@localhost ~]# cat space.txt
#111111111111
#22222222222
#33333333333
#444444444
5555555555555

//aaaaaa
//bbbbbb
//cccccc
ddddddd
祖传牛皮癣专治老中医
# sed -r ‘/¹#/d’ space.txt
删除：以0个和多个空，或者tab，以及#号开始的行
删除配置文件中//号注释行
# sed -r '\Y²//Yd’ space.txt
由于分隔符也是/，所以使用自定义分隔符\Y。
删除无内容空行
# sed -r ‘/³$/d’ space.txt
$KaTeX parse error: Expected 'EOF', got '#' at position 26: …除注释行及空行另类写法 #̲ sed -ri '/^[ \…$ /d’ /etc/vsftpd/vsftpd.conf
都是删除#行和空行
# sed -ri '/⁴#|⁵ $KaTeX parse error: Expected 'EOF', got '#' at position 41: \dotsnf 都是删除#̲行和空行，区别在于使用了 \dots$ |#)/d’ /etc/vsftpd/vsftpd.conf
第三行用括号和 $KaTeX parse error: Expected 'EOF', got '#' at position 2: |#̲进行双选。（）进行了组词 \dots$ a\chroot_local_user=YES’ /etc/vsftpd/vsftpd.conf
在最后一行追加
# sed -ri ‘/^SELINUX=/cSELINUX=disabled’ /etc/selinux/config
换行c
给文件行添加注释：
# sed -r ‘2,6s/^/#/’ a.txt
找到2到6行，把开始换成#
# sed -r '2,6s/(.)/#\1/’ a.txt
（）内容可以被\1引用
# sed -r ‘2,6s/./#&/’ a.txt
&匹配前面查找的内容
多个#换成一个#
样本文件
###111
#222
####333
########4
示范
# sed -r 's/^#/#/g’ 文件名
#111
#222
#333
#4

			# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
			# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf
	sed中使用外部变量
		准备工作
			# var1=11111
		追加变量
			# sed -r  "1a$var1" /etc/hosts
				第一行后追加变量$var1

[root@localhost ~]# sed -r "1a $v a r 1 " / e t c / h o s t s 127.0.0.1 l o c a l h o s t l o c a l h o s t . l o c a l d o m a i n l o c a l h o s t 4 l o c a l h o s t 4 . l o c a l d o m a i n 4111111 : : 1 l o c a l h o s t l o c a l h o s t . l o c a l d o m a i n l o c a l h o s t 6 l o c a l h o s t 6 . l o c a l d o m a i n 6 注意调用变量时，使用单引号是错误的。巧合 s e d - r i "$ a $v a r 1 " / e t c / h o s t s 报错了，$ a最后一行追加被误认为变量了。
# sed -r “$a$var1” /etc/hosts
作业：
[root@localhost ~]# cat 12345.txt
1
2
3
4
5

	[root@localhost ~]# sed -r '1!G;$!h;$!d' 12345.txt

5
4
3
2
1

	请口述sed实现的工作过程。

4.awk

\t ↩︎
\t ↩︎
\t ↩︎
\t ↩︎
\t ↩︎

来世做夕阳

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Shell编程及自动化运维实现第5章(正则表达式 grep、sed、awk)

1.正则表达式前言名词解释正则表达式（regular expression, RE）是一种字符模式，用于在查找过程中匹配指定的字符。在大多数程序里，正则表达式都被置于两个正斜杠之间；例如/l[oO]ve/就是由正斜杠界定的正则表达式，它将匹配被查找的行中任何位置出现的相同模式。在正则表达式中，元字符是最重要的概念。工具被vim、sed、awk、grep调用场景mysql、oracle、php、python ，Apache，Nginx… 需要正则提示//?在shell中表示一个字符，sh
复制链接

扫一扫