grep 正则表达式 sed awk expect

最新推荐文章于 2022-04-23 15:45:34 发布
最新推荐文章于 2022-04-23 15:45:34 发布
阅读量563 收藏
点赞数
分类专栏： shell 文章标签： shell 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yosigo_/article/details/115665706
版权
  • 今日内容
  1. grep : 过滤
  2. sed ：非交互式编辑文本
  3. awk ：格式化处理有规律的文本
  4. expect : expect帮忙处理交互

三剑客命令的共性 :
1. 都支持正则表达式
2. 都支持管道

- 非交互式改密码
echo 123 | passwd nana --stdin 
# Changing password for user egon.
# passwd: all authentication tokens updated successfully.

grep命令

grep命令主要用于过滤文本,grep家族如下:
grep:在文件中全局查找指定的正则表达式,并打印所有包含该表达式的行
egrep:扩展的egrep,支持更多的正则表达式元字符
fgrep:固定grep(fixed grep),有时也被称作快速(fast grep),它按字面解释是所有的字符
  • grep运行原理
方式1 : 直接从文件中过滤
grep "root" /etc/passwd
# root:x:0:0:root:/root:/bin/bash

方式2 : 通过管道进行过滤
cat /etc/passwd | grep "root"			
tasklist | findstr cmd		windows系统中也可以通过管道进行过滤(findstr=grep)		

打开文件，每读一行，都用正则表达式去匹配一下，但凡匹配成功一次，该行就被过滤出来
  • grep的选项
head -10 /etc/passwd > test.txt

-n  过滤结果带有行号
grep -n "root" test.txt
# 1:root:x:0:0:root:/root:/bin/bash
# 10:operator:x:11:0:operator:/root:/sbin/nologin

-o  只显示匹配成功的内容
grep -o "root" test.txt
# root
# root
# root
# root

-q  静默输出(grep会默认把结果输出在终端,静默输出适用于写脚本文件)
vim test.txt
	方法1 : grep "root" /etc/passwd &>/dev/null		
	方法2 : grep -q "root" /etc/passwd				
	if [ $? -eq 0 ];then
	        echo "ok"
	else
	        echo "no"
	fi
	
./a.txt
# ok

--color 		输出结果加颜色
alias grep			grep命令默认输出结果是自带颜色的
# alias grep='grep --color=auto'

-i		 忽略大小写
grep -i "root" test.txt
# ROOT:x:0:0:root:/root:/bin/bash
# operator:x:11:0:operator:/Root:/sbin/nologin

-A 2		过滤成功的后两行显示
grep -A 2 "root" test.txt
# ROOT:x:0:0:root:/root:/bin/bash
# bin:x:1:1:bin:/bin:/sbin/nologin
# daemon:x:2:2:daemon:/sbin:/sbin/nologin

-B 2		过滤成功的前两行显示
grep -B 2 "root" test.txt
# halt:x:7:0:halt:/sbin:/sbin/halt
# mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
# operator:x:11:0:operator:/root:/sbin/nologin

-C 2		过滤成功的前后两行都显示
grep -C 2 "root" test.txt
# bin:x:1:1:bin:/bin:/sbin/nologin
# daemon:x:2:2:daemon:/sbin:/sbin/nologin
# root:x:3:4:adm:/var/adm:/sbin/nologin
# lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
# sync:x:5:0:sync:/sbin:/bin/sync

-c			显示过滤成功的行数
grep -c "root" test.txt
# 3

-v			取反
grep -v "root" test.txt			显示除了包含root以外的其他所有行
# bin:x:1:1:bin:/bin:/sbin/nologin
# daemon:x:2:2:daemon:/sbin:/sbin/nologin

-w 			匹配单词
 ps -ef | grep ssh			匹配所有包含ssh的进程
# root       1376      1  0 15:26 ?        00:00:00 /usr/sbin/sshd -D
# root       1623   1376  0 15:26 ?        00:00:00 sshd: root@pts/0
# root       1659   1625  0 15:27 pts/0    00:00:00 grep --color=auto ssh

ps -ef | grep -w ssh		匹配所有包含ssh单词的进程
# root       1663   1625  0 15:28 pts/0    00:00:00 grep --color=auto -w ssh

-l			匹配成功,则只将文件名打印出来,失败则不打印(通常-rl一起用)
-R,-r		递归
grep -rl "passwd" /etc				显示/etc目录下包含passwd字符串的文件名
# /etc/login.defs
# /etc/selinux/semanage.conf
# /etc/selinux/targeted/contexts/files/file_contexts

正则表达式

  • 正则表达式 ：用特殊的符号指定规则
^		以什么开头开始匹配(只匹配开头)
grep -n "^root" test.txt
# 4:root:x:3:4:adm:/var/adm:/sbin/nologin

$		从结尾结尾开始匹配(只匹配结尾)
grep -n "root$" test.txt
# 5:lp:x:4:7:lp:/var/spool/lpd:/sbin/root

cat c.txt
# abc 
# a+c
# a-c
# a1c
# aaaaaac
# abbbbcc
# ccacccc
# dddddab

.			匹配任意一个字符
grep "a.c" c.txt
# abc 
# a+c
# a-c
# a1c
# aaaa(aac)
# cc(acc)cc

*			左边的个字符出现0次或者无数次
grep "ab*" c.txt
# (ab)c 
# (a)+c
# (a)-c
# (a)1c
# (aaaaaa)c
# (abbbb)cc
# cc(a)cccc
# ddddd(ab)

.*			匹配没有或者所有(贪婪模式)
grep "a.*c" c.txt
# abc 
# a+c
# a-c
# a1c
# aaaaaac
# abbbbcc
# cc(acbcc)				贪婪模式,以最远的c为准

.*?			非贪婪模式
vim d.txt				 需求 : 过滤出域名
	< a href="www.baidu.com">我是百度</ a>< a href="http://www.sina.com.cn">新浪</ a>

grep -oP '".*?"' d.txt	   -o(只显示匹配成功的内容)  -P(显示非贪婪模式的结果)  .*?(固定用法,将贪婪模式变成非贪婪模式)
# "www.baidu.com"
# "http://www.sina.com.cn"

[]			匹配指定范围的任意一个字符
grep "a[a-zA-Z]c" c.txt			匹配a和c之间,包含的任意一个字符(不区分大小写)
# abc 
# aaaaaac
注意 : -号只能放在最左边或者最右边 ; ^号在[]里面表示取反的意思

+ 			左边的字符出现1次或者无穷次,(扩展政策,只能配合egrep一起使用)
egrep -n "ab+" c.txt
# 1:abc 
# 6:aaabbbbcc
# 8:dddddab
注意 : * 号与 + 号的差别,*号表示左边的字符出现0次或者无穷次
  • 案例
- 需求:判断用户输入的是否是数字
vim test.txt
	# !/bin/bash

	while true
	do
	        read -p "输入年龄" age
	
	        if [[ $age =~ ^[0-9]+$ ]];then		判断正则必须加[],等于正则表达式=~,以数字开头以数字结尾(数字出现一次或者无穷次)
	                echo "pass"
	                break
	        else
	                echo "输入数字啊,弟弟"
	        fi
	done
	
	echo "后续代码"

sed命令

- sed常用的场景
场景1:
定位到某一行,然后将该行的某一部分给替换掉
- 格式 
sed -r "定位 + 操作" test.txt

sed -r "3 操作" test.txt					定位到第3行进行操作
sed -r "3,5 操作" test.txt				定位到第3行到第5行进行操作
sed -r "1 操作;3操作" test.txt			定位到第1行和第3行进行操作

场景2:
定位到某一行,然后删除
sed -r "1,3d" test.txt					删除第1行到第3行

场景3:
定位到某一行,在该行下一行添加新的内容
sed -r "1a 123" test.txt				在第一行的下一行写入123

场景4:
定位到某一行,将整行替换掉
sed -r "1c aaa" test.txt				将第一行的内容替换成aaa

- sed(流逝编辑器) 底层原理
从硬盘把文件内容(一行一行读取)读入到内存,在内存中根据你制定的规则修改原文件。
修改好原文件后把结果输出到终端。默认情况下是不修改原文件！！！(修改原文件内容需要加选项 -i )
  • sed命令使用
1. 通过行号来进行定位
cat test.txt
# xxxnanaxxxxnanaxxx
# NAnaxxxxNANAxxxxxx
# xnanaxxxxxnanaxxxx
# NANAxxxxNANaxxxxxx

 s/old/new/gi  i(忽略大小写),g(从左一直匹配到右)
sed -r "2s/nana/666/gi" test.txt			将第二行的nana替换成666
# xxxnanaxxxxnanaxxx
# 666xxxx666xxxxxx
# xnanaxxxxxnanaxxxx
# NANAxxxxNANaxxxxxx

sed -r "2,4s/nana/666/gi" test.txt			将第二行到第四行的nana替换成666
# xxxnanaxxxxnanaxxx
# 666xxxx666xxxxxx
# x666xxxxx666xxxx
# 666xxxx666xxxxxx

sed -r "2s/nana/666/gi;4s/nana/666/gi" test.txt			将第二行和第四行的nana替换成666
# xxxnanaxxxxnanaxxx
# 666xxxx666xxxxxx
# xnanaxxxxxnanaxxxx
# 666xxxx666xxxxxx

2. 通过正则来进行定位(针对一些不规律的配置文件)
cat test.txt
# 1xxxnanaxxxxnanaxxx
# 2NAnaxxxxNANAxxxxxx
# xnanaxxxxxnanaxxxx
# 4NANAxxxxNANaxxxxxx

sed -r "/^[a-zA-Z]/s/nana/666/gi" test.txt			将以字母开头的行nana替换成666			
# 1xxxnanaxxxxnanaxxx
# 2NAnaxxxxNANAxxxxxx
# x666xxxxx666xxxx
# 4NANAxxxxNANaxxxxxx


- 删除
sed -r "1,3d" test.txt						删除第一行到第三行
# 4NANAxxxxNANaxxxxxx

sed -r "/^[0-9]/d" test.txt					删除以数字开头的行
# xnanaxxxxxnanaxxxx

- 定位行的下一行添加内容
sed -r "1a 123" test.txt 
# 1xxxnanaxxxxnanaxxx
# 123
# 2NAnaxxxxNANAxxxxxx
# xnanaxxxxxnanaxxxx
# 4NANAxxxxNANaxxxxxx

- 替换定位行的内容
sed -r "1c aaa" test.txt
# aaa
# 2NAnaxxxxNANAxxxxxx
# xnanaxxxxxnanaxxxx
# 4NANAxxxxNANaxxxxxx

awk命令

- 格式
awk -F: 'NR==定位的行号{操作}' 文件路径			
awk -F: 'NR>行号 && NR<行号{操作}' 文件路径
awk -F: 'NR==行号 || NR==行号{操作}' 文件路径
	-F  指定分隔符(不写默认为空格)

注意 : 我们在指定文件的行号和操作时,只能使用单引号。

1. 指定行来进行定位
awk -F: 'NR==3{print $1,$7}' /etc/passwd		指定第三行,以:进行分割,打印第1段和第7段的内容
# daemon /sbin/nologin

awk -F: 'NR>3 && NR<5{print $0}' /etc/passwd		指定大于第三行,小于第五行,以:进行分割,打印整行内容($0,代表打印整行)
# adm:x:3:4:adm:/var/adm:/sbin/nologin

awk -F: 'NR==3 || NR==5{print $1}' /etc/passwd			指定第三行或者第五行,以:进行分割,打印第1段内容
# daemon
# lp

awk -F: 'NR==3 || NR==5{print $1"-"$3}' /etc/passwd	   	指定第三行或者第五行,以:进行分割,打印第1段和第3段的内容,中间以-进行连接
# daemon-2
# lp-4
注意 : || 符号,如果指定的行都存在,那就都进行操作;如果指定的行不存在,那就操作存在的行

2. 通过正则来进行定位
awk -F: '/bash$/{print $0}' /etc/passwd				打印以bash结尾,以:进行分割的行
# root:x:0:0:root:/root:/bin/bash
# egon:x:1000:1000::/home/egon:/bin/bash
  • 案例
ifconfig eth0
# eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
#        inet 192.168.80.100  netmask 255.255.255.0  broadcast 192.168.80.255
#        inet6 fe80::1af5:8729:4b78:31f1  prefixlen 64  scopeid 0x20<link>
#        ether 00:0c:29:ca:a8:27  txqueuelen 1000  (Ethernet)
#         RX packets 13062  bytes 1012632 (988.8 KiB)
#         RX errors 0  dropped 0  overruns 0  frame 0
#         TX packets 6938  bytes 922523 (900.9 KiB)
#         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

- 过滤出ifconfig eth0的IP地址
方法1:
ip=$(ifconfig eth0 | awk 'NR==2 {print $2}')		不写-F选项默认以空格为切割
echo $ip
# 192.168.80.100

方法2:
ip=$(ifconfig eth0 | awk '/netmask/{print $2}')			注意:匹配字符串不能在字符串中再加引号
echo $ip
# 192.168.80.100

expect命令

  • 帮忙处理交互
- 免交互编写配置文件
cat>b.txt<<EOF
> 123
> 456
> 789
> EOF
cat b.txt
# 123
# 456
# 789

通过免交互的模式向b.txt中写入数据,输入EOF退出并保存
  • 免交互执行ssh，远程登陆其他服务器配置文件模板
expect << EOF						 
        spawn ssh $user@$ip $cmd
		# 只要是spawn提交的命令都会交给expect软件执行
			
        expect {
                "yes/no" {send "yes\r";exp_continue}	
                # send会自动帮忙提交yes,\r换行符;exp_continue表示继续进行下一步
                "*assword" {send "$password\n"}	
                # send会自动帮忙提交passwd,\n换行符		
        }
        expect eof
EOF
  • 修改其他虚拟机的主机名
1. 安装expect命令
yum -y install expect

2. 写入配置文件
vim a.sh
	user="root"
	ip="192.168.80.120"
	cmd="hostname"
	passwd=123
	
	expect << EOF
	        spawn ssh root@192.168.80.120 hostname
	                        
	        expect {
	                "yes/no" {send "yes\r";exp_continue}    
	                "*assword" {send "123\n"}               
	        }
	
	        expect eof
	EOF

./a.sh
# spawn ssh root@192.168.80.120 hostname
# root@192.168.80.120's password: 
# svr7
我的紫霞辣辣
关注
专栏目录
ssh登录脚本 expect语言中使用awk
yuanxuran0101的专栏
05-01 3613
五一劳动节被叫过去加班，要升级程序，有100多台的服务器。需要先登录服务器，再将服务器上的程序停掉，服务器上的程序进程是用screen建立的，ps -ef 他的进程PID 然后kill掉  #!/usr/bin/expectset ipaddr [lindex $argv 0]spawn ssh ict@$ipaddrexpect "yes/no)?"sleep 3send
文本三剑客
weixin_53832067的博客
04-13 1772
文章目录一 ：grep过滤1.1 grep的执行原理1.2 grep的选项1.3 语法二：正则表达式2.1 egrep介绍2.2 脚本中的正则表达式二 ：sed编辑器三： awk格式化四 ：expect五：-stdin 修改密码 一 ：grep过滤 1.1 grep的执行原理 ========用法1 grep "root" /etc/passwd # 打开文件，每读一行，都用正则表达式去匹配一下，但凡匹配成功一次，该行就被过滤出来的 root:x:0:0:root:/root:/bin/bash #
An error happened during template parsing (template: "class path resource [templates/xxxxxx 问题的解决方法
qq_35590566的博客
04-15 2155
刚刚用thymeleaf框架的时候碰到一个有趣的问题 org.thymeleaf.exceptions.TemplateInputException: An error happened during template parsing (template: "class path resource [templates/bookstore/proinfo.html]") at org.thyme...
python正则匹配字符串中的数字_Python正则表达式匹配字符串中的数字
weixin_39752941的博客
12-16 2772
1.使用“\d+”匹配全数字代码：importrezen="Arizona 479, 501, 870. Carlifornia 209, 213, 650."m=re.findall("\d+",zen)print(m)结果：['479', '501', '870', '209', '213', '650']但是上述这种方式也会引入非纯数据，例子如下：importrezen="...
@文本处理之三剑客的简单使用
ଲ一笑奈@何
04-13 1176
文章目录一 grep命令二 sed命令三 awk命令四 expect 三剑客的简单使用 1、grep命令&正则表达式---》过滤 2、sed—》非交互式编辑文本 3、awk-》格式化有规律的文本 三剑客命令的共性： ​ 1、都支持正则表达式 ​ 2、都支持管道 echo 123 | passwd egon --stdin 4、expect：交互的命令变为非交互 一 grep命令 grep的执行原理 ========用法1 grep "root" /etc/passwd # 打开
Linux expect、正则表达式和sed的使用
01-05
在Linux系统中，grep、sed、awk等文本处理工具都可以使用正则表达式来进行模式匹配和文本处理。正则表达式中的一些特殊字符包括： 1. ^word 表示匹配行首的word，例如grep "^sync" /etc/passwd将匹配/etc/passwd...
第23 章 expect -正则表达式-sed-cut-awk的使用
08-07 370
expect实现无交互登录 #!/usr/bin/expect定义脚本执行的shell set timeout 30 设置超时时间,单位秒， timeout -1 永不超时 spawn expect内部命令，给ssh进程加壳，用来传递交互指令。（启动新的进程） expect expect 内部命令，判断输出结果是否包含某项字符串，没有则立即返回，继续向下执行，有就等待一段时间返回，等待时间由timeout设置（从进程接收字符串） send 执行交互动作，将交互要执行的动作进行输入给交互指令，命令.
Linux云计算架构师：expect-正则表达式-sed-cut的使用
Xiadaoanquan123的博客
02-17 226
全套学习资料移步至公众号【学神来啦】更多学习资料添加扣扣资源群：661308959 本节所讲内容： 23.1 expect实现无交互登录 23.2 正则表达式 23.3 sed流编辑器 23.4 cut命令 23.5 实战-bash脚本语法检查和查看详细的执行过程 23.1 expect实现无交互登录 expect ([ɪkˈspekt]期待 )是从它发展出来的。如果你想要写一个能够自动处理输入输出的脚本（如向用户提问并且验证密码）又不想面对C或者Perl，那么exp...
正则表达式
abcdef121233123的博客
03-24 465
11.1 grep/egrep 工具的使用 格式为：grep [-cinvABC] ‘word’ filename -c：表示打印符合要求的行数 -i：表示忽略大小写 -n：表示输出符合要求的行及其行号 -v：表示打印不符合要求的行 -A：后面跟一个数字（有无空格都可以），-A2表示打印符合要求的行以及下面两行 -B：后面跟一个数字，-B2表示打印符合要求的行以...
Package name ‘xxx‘ does not correspond to the file path ‘xxx‘
热门推荐
EricXiao666的博客
04-26 1万+
经检查发现package名称有问题，我的文件路径名中带中横线，但是package名称中有中横线，将package名称修改之后，这个问题解决。 另外，包名有大写字母的话也会有这个问题，因此，最好在命名包名时使用纯小写英文字母。 总之，这个问题出现的原因就是包名写错了，与实际不符，修改包名即可。 ...
【angular】ts2307: Cannot find module xxx
小妖666个人笔记
10-21 4587
今天发现明明没有问题的代码总是提示 ts2307: Cannot find module xxx，或是不存在某个属性。 重新换个工程目录就好使了，实在没有别的办法了。
odbc mysql server_无法使用ODBC连接连接到MYSQL服务器
weixin_35899659的博客
01-19 413
Hi All,I had connected to the MYSQL database using WCF services with connection string:OdbcConnection sqlcon = new OdbcConnection("DRIVER={MySQL ODBC 3.51 Driver};SERVER=xxx.xxx.xxx.xx;database=xxxxxx...
python 正则使用r“\b\d+\b”匹配纯数字数据
cuisidong1997的博客
04-23 904
2.使用r“\b\d+\b”匹配纯数字数据（r表示原生字符，具有转义作用） 代码： 1 2 3 4 import re zen = “Arizona 479, 501, 870. Carlifornia 209, 213, 650. string666xxx.” m = re.findall(r"\b\d+\b", zen) print(m) 结果： [‘479’, ‘501’, ‘870’, ‘209’, ‘213’, ‘650’] ...
grep
shuifa2008的专栏
11-30 479
 1. grep简介　　grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是gre
GREP命令
极客神殿
06-12 601
grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行。Unix的grep家族包括grep、egrep和fgrep。Windows系统下类似命令FINDSTR。 基本简介 egrep和fgrep的命令只跟grep有很小不同。egrep和fgrep都是...
Grep命令常见用法
qq_40907977的博客
09-07 5237
使用Grep命令查找多个字符串 多模式 Grep 命令 grep 命令支持三种正则表达式语法：Basic、Extended 和 Perl-compatible 。当没有指定正则表达式类型时，grep 命令将搜索模式默认为基本正则表达式。 要搜索多个匹配模式，可以使用 OR ( alternation ) 运算符。我们可以用 OR 运算符 |（ pipe ）指定不同的匹配项，这些匹配项可以是文本字符串，也可以是表达式集。值得注意的是，在所有正则表达式运算符中，这个运算符的优先级是最低的。 使用 grep 命令
知其然且知所以然之grep命令
重剑无锋 大巧不工
04-26 1381
知其然且知所以然之grep命令 最近听一新手朋友讲刚进公司的感受，其中一点就是Linux下的命令用得不熟，一大堆参数完全记不住，对一些老鸟的指法无比羡慕嫉妒恨。     刚开始使用命令谁都不熟，而且不经常使用还会忘记。刚敲入一个命令却忘记了参数是非常恼人的，尤其是遇到一个棘手的问题亟待解决时。这时你会怎么办呢？打开浏览器查一下？还是问下旁边的同事？前者有点慢，毕竟你需要从大量的信息中搜索，如碰
Result Maps collection already contains value for xxx
EricXiao666的博客
06-03 5714
翻译过来就是：结果映射集合已包含的值xxx <resultMap id="UserFullInfoMap" type="com.xxs.shirodemo.entity.UserInfo"> 原因分析：mapper.xml文件中包含id相同的resultMap 情形一：同一个mapper.xml文件包含两个或多个id相同的resultMap 解决办法：修改id重复的resultMap...
[ERROR] Please refer to XXXXXXXXXXX for the individual test result
qq_24084605的博客
09-25 1万+
在pom.xml中增加 &lt;build&gt; &lt;plugins&gt; &lt;plugin&gt; &lt;groupId&gt;org.apache.maven.plugins&lt;/groupId&gt; &lt;artifactId&gt;maven-surefire-plugin&lt;/artif...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值