正则表达式导致 CPU 高的问题排查过程

最新推荐文章于 2022-03-03 22:33:03 发布
最新推荐文章于 2022-03-03 22:33:03 发布
阅读量993 收藏 3
点赞数
分类专栏： 正则 文章标签： 正则表达式
原文链接：https://cloud.tencent.com/developer/article/1780881
版权

正则表达式导致 CPU 高的问题排查过程

案例1（转载）

这篇文章记录一个正则表达是导致 CPU 高的问题排查。由于无法直接使用线上的代码测试，所以我自己把代码整理了下来，具体代码如下：

public class AppMain {
	public static void main(String[] args) throws InterruptedException {
		final String regex="^([a-z0-9A-Z]+[-|\\.]?)+[a-z0-9A-Z]@([a-z0-9A-Z]+(-[a-z0-9A-Z]+)?\\.)+[a-zA-Z]{2,}$";
		final String email="blog.laofu.online.fuweilao@vip.qq.com#";
		for (int i = 0; i < 1000000; i++) {
			Matcher matcher = RegexUtils.matcher(regex, email);
			matcher.find();
			Thread.sleep(10);
//			matcher.group();
		}
	}
}

当运行程序的时候，我们可以看到 java 的进程占用了 CPU 了 82.1%,由于我使用的服务器是 1核+2G, 所以 load avg 占用也很高。

 使用 top -H -p 4214 查看各个线程占用的情况

hex
使用 printf ‘%x\n’ 4217 把进程转成 16 进制值为 1079。执行 jstack 4214|grep 1079 -A 100得到线程的堆栈信息：

"main" #1 prio=5 os_prio=0 tid=0x00007f943004c800 nid=0x1079 runnable [0x00007f9439fe0000]
   java.lang.Thread.State: RUNNABLE
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4264)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        // at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4195)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4293)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4195)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4293)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4195)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4293)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.match(Pattern.java:4799)
        at java.util.regex.Pattern$GroupTail.match(Pattern.java:4731)
        at java.util.regex.Pattern$Ques.match(Pattern.java:4196)
        at java.util.regex.Pattern$Curly.match0(Pattern.java:4286)
        at java.util.regex.Pattern$Curly.match(Pattern.java:4248)
        at java.util.regex.Pattern$GroupHead.match(Pattern.java:4672)
        at java.util.regex.Pattern$Loop.matchInit(Pattern.java:4815)
        at java.util.regex.Pattern$Prolog.match(Pattern.java:4755)
        at java.util.regex.Pattern$Begin.match(Pattern.java:3539)
        at java.util.regex.Matcher.search(Matcher.java:1248)
        at java.util.regex.Matcher.find(Matcher.java:637)
        at org.rz.search.spider.AppMain.main(AppMain.java:13)

"VM Thread" os_prio=0 tid=0x00007f94300cc800 nid=0x1079 runnable 

"VM Periodic Task Thread" os_prio=0 tid=0x00007f9430121000 nid=0x1079 waiting on condition

JNI global references: 5
从上面的堆栈信息可以看出来是正则的递归调用，导致了很深的堆栈。
查看最终的堆栈入口：at org.rz.search.spider.AppMain.main(AppMain.java:13) 可以断定问题是正则匹配的原因。

为什么一个正则会导致CPU飙高？
我们知道，正则一般都是采用贪婪的模式，如果当前字符串不匹配，会导致字符回溯，如果待匹配串过长就会导致匹配的次数成指数上升。

正则的性能测试可以到 【正则性能测试（regex101）】

使用简单的数据匹配，比较此时已经达到了 168997次。

我再次增加了两个字符，比较次数已经增到 404895次。

当然，如果能匹配成功，则匹配的次数非常少

所以以后使用正则的时候，应该多多注意，具体这个怎么解决，还是要根据业务场景来具体实施，我个人推荐 使用一个简单的过滤规则，把明显有问题的字符先去除

在本例中就可以直接先判断字符是否包含非法字符 #,$,-,?..等，然后再使用正则再次匹配。

转自https://cloud.tencent.com/developer/article/1780881

案例2

在这里插入图片描述

https://bugs.java.com/bugdatabase/view_bug.do?bug_id=6988218

小白龙ProMonkey
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一个正则表达式导致CPU 利用率居高不下
12-13
前几天线上一个项目监控信息突然报告异常，上到机器上后查看相关资源的使用情况，发现 CPU 利用率将近 100%。通过 Java 自带的线程 Dump 工具，我们导出了出问题的堆栈信息。 藏在正则表达式里的陷阱，一个正则表达式导致CPU 利用率居高不下 我们可以看到所有的堆栈都指向了一个名为 validateUrl 的方法，这样的报错信息在堆栈中一共超过 100 处。通过排查代码，我们知道这个方法的主要功能是校验 URL 是否合法。 很奇怪，一个正则表达式怎么会导致 CPU 利用率居高不下。为了弄清楚复现问题，我们将其中的关键代码摘抄出来，做了个简单的单元测试。 public static
java 正则 cpu 100_正则表达式和 CPU 100%有什么故事？
weixin_39623620的博客
02-26 116
前几天线上一个项目监控信息突然报告异常，上到机器上后查看相关资源的使用情况，发现 CPU 利用率将近 100%。通过 Java 自带的线程 Dump 工具，我们导出了出问题的堆栈信息。我们可以看到所有的堆栈都指向了一个名为 validateUrl 的方法，这样的报错信息在堆栈中一共超过 100 处。通过排查代码，我们知道这个方法的主要功能是校验 URL 是否合法。很奇怪，一个正则表达式怎么会导致 ...
正则表达式引起的异常，CPU100%
chu69263的博客
09-25 306
正则表达式造成CPU100%的问题回溯 线上正常运行，突然在某个瞬间发现线上几十台机器突然全部出现CPU100%的报警，马上手动使用工具下载jstack日志，发现已经无法下载，接着联系运维获取jstack日志；得到jstack日志马上查看是否存在业务代码的包，比如 com.xxx.xxx.a...
java正则表达式处理器_正则表达式引起的异常，CPU100%
weixin_29526539的博客
02-27 392
正则表达式造成CPU100%的问题回溯线上正常运行，突然在某个瞬间发现线上几十台机器突然全部出现CPU100%的报警，马上手动使用工具下载jstack日志，发现已经无法下载，接着联系运维获取jstack日志；得到jstack日志马上查看是否存在业务代码的包，比如 com.xxx.xxx.appUrl.getUrl等类似代码 马上发现urlconstants.getAppUrl出现问题造成线程状态...
一个正则表达式怎么会引起线上CPU狂飙？
JWinni的博客
07-06 664
我们可以看到所有的堆栈都指向了一个名为 validateUrl 的方法，这样的报错信息在堆栈中一共超过 100 处。通过排查代码，我们知道这个方法的主要功能是校验 URL 是否合法。 很奇怪，一个正则表达式怎么会导致 CPU 利用率居高不下。为了弄清楚复现问题，我们将其中的关键代码摘抄出来，做了个简单的单元测试。 public static void main(String[] args) { ...
藏在正则表达式里的陷阱(推荐)
01-19
前几天线上一个项目监控信息...很奇怪，一个正则表达式怎么会导致 CPU 利用率居高不下。为了弄清楚复现问题，我们将其中的关键代码摘抄出来，做了个简单的单元测试。 public static void main(String[] args) { Stri
linux通配符和正则表达式怎么用.pdf
10-26
在Linux系统中，通配符和正则表达式是两种非常重要的文本匹配工具，它们用于在命令行中筛选和操作文件或数据。了解并熟练掌握这两种技术对于日常的系统管理和数据分析至关重要。 首先，让我们来看看通配符。通配符...
解决正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题
10-16
虽然索引可以帮助提高查询速度，但在某些情况下，如频繁的正则表达式匹配，仍然可能导致CPU资源的过度消耗。优化查询策略，选择更适合的查询方法，以及定期监控和调整数据库性能，都是预防和解决这类问题的关键步骤...
使用log4j2实现日志数据脱敏
05-08
- 脱敏策略应根据具体业务场景和合规要求定制，确保既能保护数据安全，又不妨碍问题排查。 - 定期审查和更新脱敏规则，以适应不断变化的数据敏感性。 - 对于加密后的敏感信息，要确保解密密钥的安全管理，防止密钥...
全盘文搜索器
03-28
除了基本的字符串比较外，可能还会用到正则表达式匹配，这需要对正则表达式引擎有深入理解，如Perl兼容正则表达式库（PCRE）。 5. **替换功能**： "全盘文搜索器"还支持替换功能，这涉及到字符串操作和原地修改。...
正则表达式获取CPU的核数信息
苏法迪的专栏
03-03 236
1. 观察CPU文件节点的特征 手机的CPU节点的路径： device:/sys/devices/system/cpu $ ls -al total 0 drwxr-xr-x 19 root root 0 2022-01-30 13:52 . drwxr-xr-x 7 root root 0 2022-01-30 13:52 .. drwxr-xr-x 10 root root 0 2022-01-30 13:52 cpu0 drwxr-xr-x 8 root root 0
记录一个正则表达式 cpu 100%的问题
coder_xia的专栏
10-31 1122
昨天一个同事找看个问题,请求某个接口在参数长一点的时候总是超时,查看atop信息,发现cpu几乎耗尽,atop信息如下 占用cpu最高的是他的进程,怀疑写了死循环，jstack发现如下 明显是有循环调用了，cpu爆的原因和 https://yq.aliyun.com/articles/25576 的一样,都是Curly方式,不过连接里很多是源码解析比如type=0，回到我们的问题，我们...
正则导致了CPU高
jotree的专栏
06-09 920
正则： ^(\d+(,)?)+$
正则表达式回溯导致CPU飙高，贪婪、勉强、独占模式
无人问津的博客
08-20 2302
11111
【正则表达式】正则表达式引发的惨案 回溯 超时 cpu 100
九师兄
06-06 896
1.概述 转载：正则表达式引发的惨案 导读：正则表达式是程序员经常使用的工具之一。本文作者通过一个正则表达式的陷阱，先深入剖析了出现问题的原因，后给出怎么处理这类问题的方法。最后还给出了一些检测常见正则表达式问题的工具，十分值得深入研究。 前几天线上一个项目监控信息突然报告异常，上到机器上后查看相关资源的使用情况，发现 CPU 利用率将近 100%。通过 Java 自带的线程 Dump 工具，我们导出了出问题的堆栈信息。 我们可以看到所有的堆栈都指向了一个名为 validateUrl 的方法，这样的报错.
正则表达式：java.util.regex.Pattern matcher 循环导致高CPU
lapush的博客
06-17 3440
先贴出异常 服务器的CPU使用率一直保持在10%左右，最近突然激增，没有下降的趋势，而且重启后依然攀升，至死方休O/\O，查看进程 是java进程跑死的，只能找java进程下哪些线程高cpu使用率 问题线程已经找到 USER %CPU PRI SCNT WCHAN USER SYSTEM TID TIME [root@27a2a017-029b-48d8-...
一个由正则表达式引发的血案
阿里云开发者
08-25 3342
阿里妹导读：周末快到了，今天为大家送上一篇很有意思的小文章，具有提神醒脑之功效。作者是来自阿里巴巴LAZADA产品技术部的申徒童鞋。 血案由来 近期我在为Lazada卖家中心做一个自助注册的项目，其中的shop name校验规则较为复杂，要求： 1. 英文字母大小写 2. 数字 3. 越南文 4. 一些特殊字符，如“&amp;”，“-”，“_”等看到这个要求的时候，自然而然地想到了正则表达...
Java正则表达式引起tomcat占用CUP100%
qq_40961845的博客
05-23 448
症状：在一次Java项目开发中，需要对用户的口令进行正则判断（字母、数字、下划线和减号），正则表示式为^(\w*-*)*$，（ps:初次使用正则表达式，各位见谅！）测试时可以正常匹配。当项目部署在tomcat上运行的时候，大概一天就会发生一次CPU爆满的情况，导致用户无法访问，起初并没有在意，重启服务器就解决了。但是到后来崩溃的频率不减反增，迫使我不得不解决这个bug。 解决过程：开始有点不知所措，感觉像是由while引起的，然而检查了所有关键位置还是没有发现问题。而且查了很多资料，基本都是Linux服务
正则表达式导致cpu使用率过高
最新发布
05-16
正则表达式在匹配复杂模式的文本时会导致 CPU 使用率过高的问题。这可能是因为正则表达式引擎需要执行大量的计算来匹配复杂的模式。 为了解决这个问题，可以考虑使用更简单的模式或更高效的算法来匹配文本。例如，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值