正则表达式造成栈内存溢出

最新推荐文章于 2024-01-22 16:18:20 发布
最新推荐文章于 2024-01-22 16:18:20 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35831052/article/details/108625950
版权

正则表达式造成栈内存溢出

2020/09/16
最近由于公司需求，需要实现这样一个功能：

从大量doc文件(大约有150w+个文件)中读取内容，剔除部分敏感信息，存入相应目录结构的txt中。。。

经过前期大量python实验，各种问题（最大的问题是python太慢了，需要doc另存为docx，一旦与磁盘交互，程序的速度可想而知）
快要放弃之际，终于转向java，快速解决doc不能读取的问题，速度提上去几十甚至几百倍。

然鹅，又出现了新的问题。。。
剔除敏感信息需要使用正则表达式匹配，替换成空字符串或者***，在这个过程中，有些doc文件的内容太长，导致Java的replaceAll函数不停地递归字符串，造成了栈溢出

//replaceAll函数的底层
public String replaceAll(String regex
最低0.47元/天 解锁文章
qq_35831052
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于java正则表达式使用出现栈溢出的情况
qq_43323545的博客
05-19 937
近期，在实验的过程中，用到了java的正则语言表达式，我构造的正则语言是类似str=“(… Age:((0-9?)|([1-2]0-9?)|(30(\.0)?)))+"的正则表达式。在读取比较小的文本进行正则匹配时，运行良好，但是遇到稍大一点的文本时，就出现了stack overflow的错误。 经过网上的搜索 ...
cpp-RE2一个正则表达式的软件库通过一个有限状态机使用自动机理论实现
08-16
2. **资源限制**：RE2在编译正则表达式时会预估所需的内存，如果超过设定的限制，编译会失败，防止了消耗过多资源的情况。 3. **确定性**：RE2总是返回相同的匹配结果，对于同样的输入和正则表达式，不会因为执行...
正则表达式：一个$符号引发的内存溢出
B★R★S的博客
09-23 644
正则表达式：一个$符号引发的内存溢出
如何处理在使用正则表达式抓取数据是栈溢出问题
bailong1的专栏
04-10 1010
这两天一直在做Java数据的抓取问题。我编写了一个程序用于实现上述功能。但在运行时出现了栈溢出问题。查了一些资料，解决未果。最终想出了如下的思路。（我会附上我的Java源码）。 首先，编写了一个工具类，用于获取网站的html语言，并在此类中添加一个获取字符串str中符合正则表达式regexp的部分字符串的方法，代码如下： package com.hjb; import java.io.Inp
java_OutOfMorryError 内存溢出（replaceAll）
weixin_30258027的博客
03-13 423
最近在使用string类中的replaceAll函数时碰到这个错误，由于string长度比较长，文本文档9M多，可以增加jvm的内存大小解决。 下面是一篇对OutOfMorryError错误的一些处理方法，源于：http://www.blogjava.net/amigoxie/archive/2007/02/11/99330.html java.lang.OutOfMemoryError这个错...
java replaceall 死循环_java - replaceAll和循环？ - 堆栈内存溢出
weixin_39601642的博客
03-06 419
我的计算机科学课作业要求我编写一个程序，该程序确定单词或短语是否是回文(正反相同，即“正午”)。 作为其中的一部分，我必须编写一种删除所有标点和空格的方法，因此在确定它是否为回文时不计入它们。 它还循环运行，允许用户输入想要的短语，直到他们指示完成为止。 我的问题是，当输入的单词/短语包含空格时，它将以某种方式终止循环并且不允许更多输入。 只要输入没有空格，该程序就可以正常工作。 这是我...
java 正则从头匹配,java - 如何使用正则表达式从头到尾匹配一个块 - 堆栈内存溢出...
weixin_39747399的博客
03-14 207
如果您的输入如下所示Base_Currency=EURDescription=RevaluationGrouping_FileBase_Currency=EURDescription=RevaluationGrouping_FileBase_Currency=EURDescription=RevaluationGrouping_File然后您可以使用以下正则表达式(?s)(.*?)(?=|$)正则...
C语言源程序的缓冲区溢出漏洞分析及解决方案
06-07
- 使用正则表达式或自定义函数来验证用户输入。 **3.3 使用编译器安全特性** - **启用编译器警告**：大多数现代编译器都支持各种安全警告选项，可以帮助开发者在编译阶段发现潜在的问题。 - **利用地址空间布局...
太原理工大学软件安全技术实验
06-02
在漏洞分析实验中，学生将学习函数栈结构，通过分析栈溢出漏洞和格式化字符串漏洞来理解内存安全的重要性。使用调试工具ollydbg，学生可以观察程序执行过程，识别和验证这些常见漏洞。实验涉及的步骤包括使用ollydbg...
Phone.rar_通讯编程_C/C++_
08-11
在C/C++中，处理字符串时需特别注意内存管理，防止缓冲区溢出和内存泄漏。在验证过程中，最好先确保字符串长度在合理范围内，避免不必要的安全风险。 压缩包内的“手机号合法检验”可能包含一个或多个实现这种验证...
js代码-手写代码练习---深拷贝 支持Data, Regexp,Function, 爆栈问题 , 循环引用问题
07-16
- RegExp：需要新建一个具有相同正则表达式的RegExp对象。 - Function：JavaScript中，函数是第一类对象，可以作为值传递，但是深拷贝时一般不复制函数，因为这可能导致不必要的副作用。 4. 解决爆栈问题： 递归...
正则匹配html标签导致栈溢出,正则表达式导致堆栈溢出
weixin_32149339的博客
05-31 234
void Load( const std::string& szFileName ){static const std::regex regexObject( "=== ([^=]+) ===\\n((?:.|\\n)*)\\n=== END \\1 ===", std::regex_constants::ECMAScript | std::regex_constants::optimiz...
javascript中replace正则表达式解决数字溢出及人民币格式化问题
彤哥读源码
03-28 1468
javascript中数字类型最多只支持16位长度，超过的部分会变成0或进一变成0。 如下代码： var a = 12345678998765432112; alert(a); 运行结果如下： 解决以上问题的最简单的方法就是把数字类型转成字符串类型表示。 但是，如果我们是通过ajax从服务端请求的数据怎么办呢？ 按如下方式，把ajax返回的数据类型改为“text...
大字符串Remove,Replace方法不適用，導致內存溢出
losedguest的博客
10-28 641
 RichTextBox里貼了26M的字符，內存就佔用200多M 反復點擊Replace或者Remove按鈕后，內存直線上升，直接導致內存溢出   private void Replace_Click(object sender, EventArgs e)         {             richTextBox1.Text = richTextBox1.Text.Repl...
java内存string 溢出_java执行字符串替换时内存溢出是什么原因
weixin_36429576的博客
02-16 511
Download.java:244行的代码：text=text.replaceAll("","");出错信息：Exceptioninthread"Thread-1"java.lang.OutOfMemoryError:Javaheapspaceatjava.ut...Download.java:244行的代码：text=text.replaceAll("","");出错信息：Exception i...
内存溢出的几种原因和解决方法
qq_42761277的博客
11-07 2815
JNI的滥用也会导致一些本地内存无法释放的问题，所以尽量避开JNI；不过在有必要的情况下可以对系统做一些优化，使得-Xss的值是可用的。上面第四种溢出错误，已经说明了线程的内存空间，其实线程基本只占用heap以外的内存区域，也就是这个错误说明除了heap以外的区域，无法为线程分配一块内存区域了，这个要么是内存本身就不够，要么heap的空间设置得太大了，导致了剩余的内存已经不多了，而由于线程本身要占用内存，所以就不够用了，说明了原因，如何去修改，不用我多说，你懂的。引用，使得这些对象不能被GC回收。
Java中Pattern、Matcher使用过程中的内存泄漏风险
最新发布
Cover_sky的博客
01-22 641
前几天遇到了一个由正则表达式引起的线上事故，来跟大家分享下，希望能够帮助到大家当我们业务中有需要使用正则表达式的时候，可能会用到Pattern和MatcherPattern在调用compile方法时里面使用大量的对象来记录相关的状态，其中包括字节数组buffer的填充，以及一些数组的拷贝，以及相关的状态变量等等，口说无凭，我们来大致看一下compile即可。
关于java正则表达式匹配时进入死循环或者栈溢出的可能解决办法
xydoo的博客
05-15 1434
最近在写java程序时遇到了文本处理问题。 明明自己的程序写的没有什么问题，但是却进入了死循环或者是栈溢出。 下面给出大家几个可能的解决方法 尽量少使用+或者*。虽然这两种符号用起来很方便，但是在匹配时是递归进行匹配的，所以开销会比较大。 使用Pattern.compile()来构建新的Pattern类对象，这样做性能会比直接使用Matcher类要好。 想办法简化自己的正则表达式。 如果文本的长度过长，建议可以先手动进行简单的文本分割。比如先按段落分开，或者划分为比较短的文本块。之后再使用正则表达式去匹配
java正则表达式 懒惰_Java 正则表达式 StackOverflowError 问题及其优化
weixin_36053398的博客
02-16 403
原标题：Java 正则表达式 StackOverflowError 问题及其优化来源：xrzs，my.oschina.net/leejun2005/blog/486584正则可以看做一门 DSL，但它却应用极其广泛，可以轻松解决很多场景下的字符串匹配、筛选问题。同时呢有句老话：“ 如果你有一个问题，用正则表达式解决，那么你现在就有两个问题了。”Some people, when confronte...
java 正则 栈溢出_StackOverflowError：正则表达式栈溢出错误
05-31
正则表达式栈溢出错误（StackOverflowError）通常是由于正则表达式的递归嵌套过深造成的，导致栈空间被耗尽。解决这个问题的方法是优化正则表达式的结构，尽量减少递归嵌套的层数。 以下是一些可能导致正则表达式栈溢出错误的情况： 1. 嵌套过多的括号，例如“((((((...))))))”； 2. 重复次数过多的匹配，例如“a{1000000}”； 3. 正则表达式中包含递归，例如“(\d+)+”； 4. 正则表达式中包含回溯，例如“a.*b”； 5. 正则表达式中包含歧义或模糊性，例如“a|ab|abc”。 为了避免这些问题，可以采取以下措施： 1. 尽量减少括号的嵌套层数； 2. 尽量减少重复次数过多的匹配； 3. 避免使用递归，尽量采用迭代的方式实现； 4. 避免使用回溯； 5. 尽可能消除歧义或模糊性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值