bash shell 无法使用 perl 正则

于 2023-04-15 09:34:25 发布
阅读量350 收藏 1
点赞数
文章标签： bash perl 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s_alted/article/details/130165849
版权

在这里插入图片描述

1.案例现象

前几天有一个小伙伴在群里求助，说他这个 shell 脚本有问题，让大家帮忙看看

在这里插入图片描述

#!/bin/bash
regularExpression="^\[(\d+)+\].+$"
content=`cat $1`
for i in ${content}
do
        if [[ $i =~ $regularExpression ]]
        then
                echo -e "\033[32m 【 infomation matching  success! 】\033[0m"
                echo -e "\033[32m ${i} \033[0m"
        else
                echo -e "\033[31m【 infomation dismatch !】\033[0m"
                echo -e "\033[31m ${i} \033[0m"
        fi
done

可以看到，这个脚本首先将目标文本文件的名字当作该脚本的第一个参数（$1）传递进去，然后查看这个文本文件的内容（cat $1），并将内容赋值给 firstLine 变量

接着对文本内容的每一行进行遍历然后正则匹配，并将匹配到的内容绿色高亮输出出来，不匹配的内容红色高亮输出，并显示提示信息

其中，正则匹配表达式^\[(\d+)+\].+$ 匹配一组方括号 [ ] ，方括号后还有内容且方括号之间由数字组成：

  • 第一部分：^\[(\d+)+\]
    • ^\[ 表示以 [ 开头，\ 为转义字符
    • (\d+) +表示匹配多个数字，\ 为转义字符
    • \] 表示匹配右方括号，\ 为转义字符
  • 第二部分：.+$
    • .+ 表示匹配任意字符
    • $ 表示结尾

因此上面的正则表达式可以匹配：[123] this is a test line 这样的内容

我们来执行一下这个脚本，首先看下目标文件内容

# cat 1.txt 
[100001]咸鱼
[100002]kanye
11113344

在这里插入图片描述
由脚本的执行结果得知，文本文件中的内容均没有匹配到

奇怪，正则表达式写的没有问题，为啥脚本里面的正则不匹配呢

2.定位问题

在解决这个问题之前，我们先来了解一下正则表达式（Regular Expression）

什么是正则表达式

正则表达式是一种通用的文本匹配工具

它允许你使用特定的语法来描述和匹配文本中的模式，可以说是描述文本内容组成规律的表示方式

正则表达式的发展史

正则表达式的起源，可以追溯到早期神经系统如何工作的研究

在 20 世纪 40 年代，有两位神经生理学家（Warren McCulloch 和 Walter Pitts），研究出了一种用数学方式来描述神经网络的方法

1956 年，一位数学家（Stephen Kleene）发表了一篇标题为《神经网络事件表示法和有穷自动机》的论文。这篇论文描述了一种叫做「正则集合（Regular Sets）」的符号

随后，大名鼎鼎的 Unix 之父 Ken Thompson 于1968年发表了文章《正则表达式搜索算法》，并且将正则引入了自己开发的编辑器 qed，以及之后的编辑器 ed 中，然后又移植到了大名鼎鼎的文本搜索工具 grep 中

自此，正则表达式被广泛应用到 Unix 系统或类 Unix 系统 (如 macOS、Linux) 的各种工具中，但是百家争鸣的场面使得各种语言和工具中的正则虽然功能大致类似，但仍然有不少细微差别

正则表达式两种流派之 POSIX 流派

上个世纪八十年代，POSIX (Portable Operating System Interface) 标准公诸于世，它制定了不同的操作系统都需要遵守的一套规则

其中就包括正则表达式的规则，遵循 POSIX 标准的正则表达式，称为 POSIX 派系正则表达式

POSIX 规范定义了正则表达式的两种标准

  • 基本正则表达式 BRE（Basic Regular Expression）
    • 不支持量词问号和加号，也不支持多选分支结构管道符
  • 扩展正则表达式 ERE（Extended Regular Expression）
    • BRE 在使用花括号，圆括号时要转义才能表示特殊含义。由于BRE 功能不够强大，导致了 ERE 扩展标准的诞生

像 Unix 系统或类 Unix 系统上的大部分工具，如 grep 、sed 、awk 等都属于 POSIX 派系

BRE 标准和 ERE 标准

早期 BRE 与 ERE 标准的区别主要在于，BRE 标准不支持量词问号和加号，也不支持多选分支结构管道符

BRE 标准在使用花括号，圆括号时要转义才能表示特殊含义。BRE 标准用起来这么不爽，于是有了 ERE 标准，在使用花括号，圆括号时不需要转义了，还支持了问号、加号和多选分支

我们现在使用的 Linux 发行版，大多都集成了 GNU 套件。GNU 在实现 POSIX 标准时，做了一定的扩展，主要有以下三点扩展

  1. GNU BRE 支持了 +、?，但转义了才表示特殊含义，即需要用 \+、\? 表示
  2. GNU BRE 支持管道符多选分支结构，同样需要转义，即用 \| 表示
  3. GNU ERE 也支持使用反引用，和 BRE 一样，使用 \1、\2…\9 表示

在这里插入图片描述
POSIX 字符组

POSIX 流派还有一个特殊的地方，就是有自己的字符组，叫 POSIX 字符组
在这里插入图片描述
正则表达式两种流派之 PCRE 流派

除了 POSIX 标准外，还有一个 Perl 分支，随着 Perl 语言的发展，Perl 语言中的正则表达式功能越来越强悍，为了把 Perl 语言中正则的功能移植到其他语言中，我们熟知的 PCRE 就诞生了

PCRE 是一个兼容 Perl 语言正则表达式的解析引擎，是由 Philip Hazel 开发的，为很多现代语言和工具所普遍使用

除了 Unix 上的工具遵循 POSIX 标准，PCRE 现已成为其他大部分语言和工具隐然遵循的标准

目前大部分常用编程语言都是源于 PCRE 标准，这个流派显著特征是有 \d、\w、\s 这类字符组简记方式

在 UNIX/LINUX 系统里 PCRE 流派与 POSIX 流派的对比，可以参考下表
在这里插入图片描述
在 Linux 中使用正则

在遵循 POSIX 规范的 UNIX/Linux 系统上，按照 BRE 标准 实现的有 grep、sed 和 vi/vim 等

而按照 ERE 标准 实现的有 egrep、awk 等

但是在 Linux 的 bash 中，原生的正则表达式语法是基于 POSIX 标准的（支持 ERE 标准和 BRE 标准），不直接支持 PCRE 标准

在了解完正则表达式之后，我们再回到问题本身

脚本中的正则表达式出现了 \d ，而 \d 是属于 PCRE 标准，而 Linux Bash （基于 POSIX 标准）不支持 PCRE 标准，所以匹配不到

3.解决问题

知道了 Linux Bash 不支持 PCRE 标准，我们将脚本中的正则表达式由 PCRE 标准改成 ERE 标准即可

  • 改成 ERE 标准
regularExpression="^\[[0-9]].+$"
或者
regularExpression='^\[[[:digit:]]+\].+$'

  • 修改脚本：在脚本里面使用 grep 进行正则匹配过滤

    • -P 参数表示支持 PCRE 正则
    • -v 参数表示取反操作
#!/bin/bash
regularExpression="^\[(\d+)+\].+$"
content=$1
match_text=$(grep -P ${regularExpression} ${content})
dismatch_text=$(grep -Pv ${regularExpression} ${content})

echo -e "\033[32m 【 infomation matching  success! 】\n${match_text} \033[0m"
echo -e "\033[31m【 infomation dismatch !】${dismatch_text} \033[0m"

看下执行结果
在这里插入图片描述
参考链接：

咸鱼Linux运维
关注
Bash Shell 无法使用 Perl 正则表达式进行操作系统
KrbwCoder的博客
09-21 45
总结起来，虽然 Bash Shell 不直接支持 Perl 正则表达式的全部功能，但你仍然可以使用其他替代方案来完成类似的操作。通过使用 Bash 内置的正则表达式工具，编写 Perl 脚本或者使用其他编程语言，你可以实现所需的功能。然而，如果你发现在 Bash Shell 中无法使用 Perl 正则表达式进行操作系统，那可能是因为一些限制和差异导致的。然而，虽然 Bash Shell 不支持 Perl 正则表达式的全部功能，但你仍然可以使用一些替代方案来完成类似的操作。即可执行相应的正则表达式操作。
Shell脚本之正则表达式详解
最新发布
wlc1213812138的博客
06-10 1750
在计算机科学中，是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。在很多文本编辑器或其他工具里，正则表达式通常被用来检索或替换那些符合某个模式的文本内容。许多程序设计语言都支持利用正则表达式进行字符串操作。只有掌握了正则表达式，才能全面地掌握 Linux 下的常用文本工具（例如：grep、egrep、sed、awk 等） 的用法。
sed与正则表达式
07-10 6166
sed -i命令详解 sed入门详解教程 sed 是一个比较古老的，功能十分强大的用于文本处理的流编辑器，加上正则表达式的支持，可以进行大量的复杂的文本编辑操作。sed 本身是一个非常复杂的工具，有专门的书籍讲解 sed 的具体用法，但是个人觉得没有必要去学习它的每个细节，那样没有特别大的实际意义。网上也有很多关于 sed 的教程，我也是抱着学习的心态来学习 sed 的常见的用法，并进行系统的总结，内容基本覆盖了 sed 的大部分的知识点。文中的内容比较简练，加以实际示例来帮助去理解 sed 的使用...
Linux运维课程-Perl脚本（正则表达式的使用）
weixin_33742618的博客
11-22 222
本视频为老段工作室Linux运维课程随堂视频之Perl第六章-正则表达式。Perl强大的正则功能，让您轻松的使用几行代码就可以完成一项很复杂的工作。本视频详细讲解了perl中的匹配模式！第14期RHCE（周末班，本年度最后一期）11月23日开课（周末班），报名地址：http://item.taobao.com/item.htm?spm=a1z10.1.w1004-197...
比较bash和perl的比较运算符（纠结）
dengpeng777的专栏
07-14 1432
bash 整数比较-eq 等于,如:if [ "$a" -eq "$b" ]-ne 不等于,如:if [ "$a" -ne "$b" ]-gt 大于,如:if [ "$a" -gt "$b" ]-ge 大于等于,如:if [ "$a" -ge "$b" ]-lt 小于,如:if
linux bash 正则表达式,技术|Bash 脚本：正则表达式基础篇
weixin_39847437的博客
05-17 334
正则表达式Regular expressions(简写为 regex 或者 regexp)基本上是定义一种搜索模式的字符串，可以被用来执行“搜索”或者“搜索并替换”操作，也可以被用来验证像密码策略等条件。正则表达式是一个我们可利用的非常强大的工具，并且使用正则表达式的优点是它能在几乎所有计算机语言中被使用。所以如果你使用 Bash 脚本或者创建一个 python 程序时，我们可以使用正则表达式，或...
bash vs perl vs c
dengpeng777的专栏
07-14 977
分别用3种语言完成500M文件拷贝perl方法----消耗不到1分钟 bash方法----41分钟c方法----17秒
SHELL基础知识-正则表达式
oraczp的博客
11-12 540
1. 正则表达式是什么？ 正则表达式（Regular Expression、regex或regexp，缩写为RE），也译为正规表示法、常规表示法，是一种字符模式，用于在查找过程中==匹配指定的字符==。 许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。 正则表达式这个概念最初是由Unix中的工具软件（例如sed和grep）普及开的。 支持正则表达式的程序如：locate |find| vim| grep| sed |awk 2. 正则能干
Perl正则表达式超详细教程
weixin_34308389的博客
09-14 6614
前言 想必学习perl的人，对基础正则表达式都已经熟悉，所以学习perl正则会很轻松。这里我不打算解释基础正则的内容，而是直接介绍基础正则中不具备的但perl支持的功能。关于基础正则表达式的内容，可参阅基础正则表达式。 另外，本系列只介绍匹配操作，关于内容替换，因为和学习使用perl正则并无多大关系，所以替换相关的将在下一篇文章单独解释。 这里推荐一个学正则非常好的资料：stackflow上关于各...
shell正则表达式.zip
01-15
Shell正则表达式是基于Bash或其他Unix/Linux shell环境的正则表达式规则，它与Perl或JavaScript等语言中的正则表达式有许多相似之处，但也存在一些差异。下面我们将深入探讨一些常见的Shell正则表达式知识点： 1. *...
shell脚本中正则表达式的表示方法
Smile x
05-19 615
一、 1.sort命令 以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序 语法格式 sort [选项]参数 cat file | sort选项 常用选项 -f:忽略大小写，会将小写字母都转换为大写字母来进行比较 -b:忽略每行前面的空格 -n:按照数字进行排序 -r:反向排序 -u:等同于uniq, 表示相同的数据仅显示一行 -t:指定字段分隔符，默认使用[Tab]键分隔 -k:指定排序字段 -o<输出文件>:将排序后的结果转存至指定文件 2.uniq命令 用于报告或者忽略文件中
BASH、PERL、PYTHON、TCL之数字前端脚本语言
TroubleMaker
01-01 1574
最近由于工作的需要接触了脚本语言，现总结下来以供后面查询，主要包括了基本的语法及函数与文件的读写操作。本博客内容来自或者部分来自以下网站Bash，Perl，Python3，Python3，Tcl。（特此声明：由于Python不同版本之间语法具有差异，本博客内容全部取自于Python3） 注释 单行注释 bash ==&gt; # perl ==&gt; # python ==&gt;...
用sh命令执行shell脚本报错
s_alted的博客
09-03 3097
排查
06_SHELL编程之CASE语句+函数+正则
baiduwenku112的博客
11-16 320
文章目录一、case语句1. 语法结构2. 应用案例㈠ 脚本传不同值做不同事㈡ 根据用户需求选择做事二、==函数==1. 什么是函数？2. 如何定义函数？㈠ 当前命令行调用㈡ 定义到用户的环境变量中㈢ 脚本中调用1. 任务背景2. 具体要求3. 综合分析4. 落地实现四、正则表达式2. 正则能干什么？3. 正则当中名词解释㈠ 正则中普通常用的元字符㈡ 正则中其他常用元字符㈢ 扩展类正则常用元字符6. 正则表达式总结五、正则元字符一栏表六、正则练习作业1. 文件准备2. 具体要求脚本搭建web服务 #课程目标
bash脚本笔记
qq_37026934的博客
04-16 1559
今天有一个需求，测试ip是否合法，我习惯性用if进行判断，当写完if两个单词后，再想怎么进行正则匹配突然断电，我们先回顾一下基础知识 正则表达式 小括号:()用于匹配字符串 中括号:[]用于匹配字符范围，如[a-zA-z0-9]匹配所有的数字和字母 大括号:{}一般出现于中括号后面，代表前面的匹配字符出现几次比如[a-z]{0,9}表示匹配9个或者小于9个小写字符 bash中if使用正则表达式 我们先回顾if的语法(语法非常奇怪) if [ condition1 ]; then express1 el
Linux——bash命令（grep文本搜索工具命令）
karelcn的博客
10-15 6965
以下为学习整理内容，供自己翻阅和他人翻阅使用 grep查找关键词，并打印匹配的行 说明： grep是一个功能强大的程序，它用来在文件中查找匹配文本 用法: grep [选项] PATTERN/regex [FILE...] 在每个 FILE 或是标准输入中查找 PATTERN。 默认的 PATTERN 是一个基本正则表达式(缩写为 BRE)。 例如: grep -i 'hello world...
shell --正则表达式
luxunlx123的博客
09-02 241
########################### grep #文本过滤命令 #贪婪模式 把所有东西都会显示 grep 命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查打印匹配的行 由正则表达式或者字符及其文本字符所编写的过滤条件 正规的 grep 不支持扩展单元的正则表达式子，竖线是用于表示“或”的扩展正则表达式元字符，正规 grep 无法识别 加上 \ 这...
详解如何在Bash中编写函数，及定义shell包装器和玩转Bash与Perl脚本
阿啄debugIT
11-01 662
前言 在编程时，实际上是，在定义要由计算机执行的过程或例程。一个简单的类比，是将计算机编程与烤面包进行比较：你一次列出了，要组建工作环境的配料，然后列出了烤面包所必须采取的步骤。 在编程和烘烤中，必须以不同的间隔重复执行某些步骤。 Shell包装 "包装"脚本，指的是内嵌系统命令或工具的脚本, 并且这种脚本保留了传递给命令的一系列参数. 因为包装脚本中包含了许多带有参数的命令, 使它能够完成特定的目的, 所以这样就大大简化了命令行的输入. 这对于sed和awk命令特别有用. sed或 awk脚本，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

咸鱼Linux运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值