java bufferedreader读大文件会内存溢出吗_分享一次 Java 内存泄漏的排查

最新推荐文章于 2024-01-11 18:18:17 发布
最新推荐文章于 2024-01-11 18:18:17 发布
阅读量489 收藏 2
点赞数
文章标签： java bufferedreader读大文件会内存溢出吗 java httpclient 内存不释放 java 内存泄漏 java 内存泄漏排查 java 发送大量http java 服务器404
  • 由来
  • 问题
  • 解决
  • 排查
  • 小结
  • 《Netty 实现原理与源码解析 —— 精品合集》
  • 《Spring 实现原理与源码解析 —— 精品合集》
  • 《MyBatis 实现原理与源码解析 —— 精品合集》
  • 《Spring MVC 实现原理与源码解析 —— 精品合集》
  • 《Spring Boot 实现原理与源码解析 —— 精品合集》
  • 《数据库实体设计合集》
  • 《Java 面试题 —— 精品合集》
  • 《Java 学习指南 —— 精品合集》

由来

前些日子小组内安排值班，轮流看顾我们的服务，主要做一些报警邮件处理、Bug 排查、运营 issue 处理的事。工作日还好，无论干什么都要上班的，若是轮到周末，那这一天算是毁了。

不知道是公司网络广了就这样还是网络运维组不给力，网络总有问题，不是这边交换机脱网了就是那边路由器坏了，还偶发地各种超时，而我们灵敏地服务探测服务总能准确地抓住偶现的小问题，给美好的工作加点料。好几次值班组的小伙伴们一起吐槽，商量着怎么避过服务保活机制，偷偷停了探测服务而不让人发现（虽然也并不敢）。

前些天我就在周末处理了一次探测服务的锅。

问题

网络问题？

晚上七点多开始，我就开始不停地收到报警邮件，邮件显示探测的几个接口有超时情况。 多数执行栈都在：

java.io.BufferedReader.readLine(BufferedReader.java:371)
java.io.BufferedReader.readLine(BufferReader.java:389)
java_io_BufferedReader$readLine.call(Unknown Source)
com.domain.detect.http.HttpClient.getResponse(HttpClient.groovy:122)
com.domain.detect.http.HttpClient.this$2$getResponse(HttpClient.groovy)

这个线程栈的报错我见得多了，我们设置的 HTTP DNS 超时是 1s， connect 超时是 2s， read 超时是 3s，这种报错都是探测服务正常发送了 HTTP 请求，服务器也在收到请求正常处理后正常响应了，但数据包在网络层层转发中丢失了，所以请求线程的执行栈会停留在获取接口响应的地方。这种情况的典型特征就是能在服务器上查找到对应的日志记录。而且日志会显示服务器响应完全正常。 与它相对的还有线程栈停留在 Socket connect 处的，这是在建连时就失败了，服务端完全无感知。

我注意到其中一个接口报错更频繁一些，这个接口需要上传一个 4M 的文件到服务器，然后经过一连串的业务逻辑处理，再返回 2M 的文本数据，而其他的接口则是简单的业务逻辑，我猜测可能是需要上传下载的数据太多，所以超时导致丢包的概率也更大吧。

根据这个猜想，群登上服务器，使用请求的 request_id 在近期服务日志中搜索一下，果不其然，就是网络丢包问题导致的接口超时了。

当然这样 leader 是不会满意的，这个结论还得有人接锅才行。于是赶紧联系运维和网络组，向他们确认一下当时的网络状态。网络组同学回复说是我们探测服务所在机房的交换机老旧，存在未知的转发瓶颈，正在优化，这让我更放心了，于是在部门群里简单交待一下，算是完成任务。

问题爆发

本以为这次值班就起这么一个小波浪，结果在晚上八点多，各种接口的报警邮件蜂拥而至，打得准备收拾东西过周日单休的我措手不及。

这次几乎所有的接口都在超时，而我们那个大量网络 I/O 的接口则是每次探测必超时，难道是整个机房故障了么。

我再次通过服务器和监控看到各个接口的指标都很正常，自己测试了下接口也完全 OK，既然不影响线上服务，我准备先通过探测服务的接口把探测任务停掉再慢慢排查。

结果给暂停探测任务的接口发请求好久也没有响应，这时候我才知道没这么简单。

解决

内存泄漏

于是赶快登陆探测服务器，首先是 top free df 三连，结果还真发现了些异常。

603fdb1f9677a71f9132c1df482d73ae.png

我们的探测进程 CPU 占用率特别高，达到了 900%。

我们的 Java 进程，并不做大量 CPU 运算，正常情况下，CPU 应该在 100~200% 之间，出现这种 CPU 飙升的情况，要么走到了死循环，要么就是在做大量的 GC。

使用 jstat -gc pid [interval] 命令查看了 java 进程的 GC 状态，果然，FULL GC 达到了每秒一次。

7b9650ebe5be39c9349dcd74acb4a457.png

这么多的 FULL GC，应该是内存泄漏没跑了，于是 使用 jstack pid > jstack.log 保存了线程栈的现场，使用 jmap -dump:format=b,file=heap.log pid 保存了堆现场，然后重启了探测服务，报警邮件终于停止了。

jstat

jstat 是一个非常强大的 JVM 监控工具，一般用法是： jstat [-options] pid interval

它支持的查看项有：

  • -class 查看类加载信息
  • -compile 编译统计信息
  • -gc 垃圾回收信息
  • -gcXXX 各区域 GC 的详细信息 如 -gcold

使用它，对定位 JVM 的内存问题很有帮助。

排查

问题虽然解决了，但为了防止它再次发生，还是要把根源揪出来。

分析栈

栈的分析很简单，看一下线程数是不是过多，多数栈都在干嘛。

> grep 'java.lang.Thread.State' jstack.log  | wc -l
> 464

才四百多线程，并无异常。

> grep -A 1 'java.lang.Thread.State' jstack.log  | grep -v 'java.lang.Thread.State' | sort | uniq -c |sort -n

     10     at java.lang.Class.forName0(Native Method)
     10     at java.lang.Object.wait(Native Method)
     16     at java.lang.ClassLoader.loadClass(ClassLoader.java:404)
     44     at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)
    344     at sun.misc.Unsafe.park(Native Method)

线程状态好像也无异常，接下来分析堆文件。

下载堆 dump 文件。

堆文件都是一些二进制数据，在命令行查看非常麻烦，Java 为我们提供的工具都是可视化的，Linux 服务器上又没法查看，那么首先要把文件下载到本地。

由于我们设置的堆内存为 4G，所以 dump 出来的堆文件也很大，下载它确实非常费事，不过我们可以先对它进行一次压缩。

gzip 是个功能很强大的压缩命令，特别是我们可以设置 -1 ~ -9 来指定它的压缩级别，数据越大压缩比率越大，耗时也就越长，推荐使用 -6~7， -9 实在是太慢了，且收益不大，有这个压缩的时间，多出来的文件也下载好了。

使用 MAT 分析 jvm heap

MAT 是分析 Java 堆内存的利器，使用它打开我们的堆文件（将文件后缀改为 .hprof）, 它会提示我们要分析的种类，对于这次分析，果断选择 memory leak suspect。

6a06bf87fb42d9197ce2366e7e881546.png

从上面的饼图中可以看出，绝大多数堆内存都被同一个内存占用了，再查看堆内存详情，向上层追溯，很快就发现了罪魁祸首。

96e68bff1fca8b131c8aa27c57bdfeeb.png

分析代码

找到内存泄漏的对象了，在项目里全局搜索对象名，它是一个 Bean 对象，然后定位到它的一个类型为 Map 的属性。

这个 Map 根据类型用 ArrayList 存储了每次探测接口响应的结果，每次探测完都塞到 ArrayList 里去分析，由于 Bean 对象不会被回收，这个属性又没有清除逻辑，所以在服务十来天没有上线重启的情况下，这个 Map 越来越大，直至将内存占满。

内存满了之后，无法再给 HTTP 响应结果分配内存了，所以一直卡在 readLine 那。而我们那个大量 I/O 的接口报警次数特别多，估计跟响应太大需要更多内存有关。

给代码 owner 提了 PR，问题圆满解决。

小结

其实还是要反省一下自己的，一开始报警邮件里还有这样的线程栈：

groovy.json.internal.JsonParserCharArray.decodeValueInternal(JsonParserCharArray.java:166)
groovy.json.internal.JsonParserCharArray.decodeJsonObject(JsonParserCharArray.java:132)
groovy.json.internal.JsonParserCharArray.decodeValueInternal(JsonParserCharArray.java:186)
groovy.json.internal.JsonParserCharArray.decodeJsonObject(JsonParserCharArray.java:132)
groovy.json.internal.JsonParserCharArray.decodeValueInternal(JsonParserCharArray.java:186)

看到这种报错线程栈却没有细想，要知道 TCP 是能保证消息完整性的，况且消息没有接收完也不会把值赋给变量，这种很明显的是内部错误，如果留意后细查是能提前查出问题所在的，查问题真是差了哪一环都不行啊。

来源：http://t.cn/EIYkz7W

weixin_39636645
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java 中的 BufferedReader 介绍_动力节点Java学院整理
08-30
BufferedReader 是缓冲字符输入流。它继承于Reader。接下来通过本文给大家介绍BufferedReader的相关知识，需要的朋友参考下吧
Java内存泄漏的排查
青鸟飞鱼
09-06 9945
1.内存溢出 一种通俗的说法。 1、内存溢出：你申请了10个字节的空间，但是你在这个空间写入11或以上字节的数据，出现溢出。 2、内存泄漏：你用new申请了一块内存，后来很长时间都不再使用了（按理应该释放），但是因为一直被某个或某些实例所持有导致 GC 不能回收，也就是该被释放的对象没有释放。 下面具体介绍。 1.1 内存溢出 java.lang.OutOfMemoryError，是指程序在申请内存时，没有足够的内存空间供其使用，出现OutOfMemoryError。 产生该错误的原因主要包括：JVM内存过
java内存泄漏怎么排查
最新发布
xiaofanren1111的博客
01-11 978
使用内存分析工具：可以使用一些常见的内存分析工具如Java Mission Control、VisualVM等，来监测应用程序的内存使用情况。观察内存使用情况：通过查看应用程序的内存使用情况，可以获取一些线索来发现是否存在内存泄漏。在Java中，内存泄漏是指应用程序持有不再使用的对象的引用，导致这些对象无法被垃圾回收机制回收，从而占用了内存资源。是否存在循环引用的情况，即两个对象相互持有对方的引用，导致无法被垃圾回收机制回收。是否存在缓存对象的过度使用，导致缓存中的对象无法被释放。
java 内存泄漏排查思路
weixin_43923229的博客
02-07 1289
查看年轻区年老区占用内存。
面试系列 - Java内存泄漏问题排查
境里婆娑
09-28 1160
内存泄漏是一种常见的问题，特别是在Java中。它发生在应用程序分配内存但未正确释放它们的情况下，导致内存占用不断增加，最终可能导致应用程序崩溃。
Java中关于内存泄漏分析和解决方案，都在这里了！
m0_71777195的博客
02-01 1888
内存泄漏：对象已经没有被应用程序使用，但是垃圾回收器没办法移除它们，因为还在被引用着。在Java中，内存泄漏就是存在一些被分配的对象，这些对象有下面两个特点，首先，这些对象是可达的，即在有向图中，存在通路可以与其相连；其次这些对象是无用的，即程序以后不会再使用这些对象。如果对象满足这两个条件，这些对象就可以判定为Java中的内存泄漏，这些对象不会被GC所回收，然而它却占用内存。在C++中，内存泄漏的范围更大一些。有些对象被分配了内存空间，然后却不可达，由于C++中没有GC（
Java中BufferedReader与BufferedWriter类的使用示例
09-02
BufferedReader与BufferedWriter分别继承于Reader和Writer类,分别为字符的读取和写入添加缓冲功能,这里我们就来看一下Java中BufferedReader与BufferedWriter类的使用示例:
java读取txt文件内容(java快速读取，程序已调试通)
07-27
java读取txt文件，可以以文件路径构造这个流，:FileInputStream fin = new FileInputStream("d:/test.txt"); 然后使用这个流直接读取到文件，再使用reader构造BufferedReader，按行读取一整行的文本，作为字符串返回...
Java中BufferedReader类获取输入输入字符串实例
08-28
主要介绍了Java中BufferedReader类获取输入输入字符串实例，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
Java BufferedWriter BufferedReader 源码分析
09-02
本文是关于Java BufferedWriter ,BufferedReader 简介、分析源码 对Java IO 流深入了解，希望看到的同学对你有所帮助
如何排查Java内存泄漏？看完我给跪了！
01-20
没有经验的程序员经常认为Java的自动垃圾回收完全使他们免于担心内存管理。这是一个常见的误解：虽然垃圾收集器做得很好，但即使是最好的程序员也完全有可能成为严重破坏内存泄漏的牺牲品。让我解释一下。 当不必要地维护不再需要的对象引用时，会发生内存泄漏。这些泄漏很糟糕。首先，当程序消耗越来越多的资源时，它们会对计算机施加不必要的压力。更糟糕的是，检测这些泄漏可能很困难：静态分析通常很难精确识别这些冗余引用，现有的泄漏检测工具会跟踪和报告有关单个对象的细粒度信息，产生难以解释且缺乏精确度的结果。 换句话说，泄漏要么太难以识别，要么使用太过具体而无用术语来识别。 实际上有四类内存问题具有相似和重叠的特征
【2023】java内存溢出和内存泄漏代码测试及检测
weixin_52315708的博客
07-18 1580
在这个例子中，循环申请Object 对象，并将所申请的对象放入一个Vector 中，如果仅仅释放引用本身（o=null），那么Vector 仍然引用该对象，所以这个对象对GC 来说是不可回收的。我们知道jvm通过持久带实现了java虚拟机规范中的方法区，而运行时常量池就是保存在方法区中的，因此发生这种溢出可能是运行时常量池溢出，或是由于程序中使用了大量的jar或class，使得方法区中保存的class对象没有被及时回收或者class信息占用的内存超过了配置的大小。
Java内存泄漏了，怎么排查?
Blue92120的博客
05-26 1874
Java内存泄漏是指在程序中存在一些不再使用的对象，但是由于某些原因没有被垃圾回收器正确地回收，导致内存持续增加，最终可能导致程序性能下降甚至崩溃。
Java内存溢出的排查工具和方法
Crecendow
08-03 804
• 9:58收到报警，资讯延时1小时。• 10:10排查出接口全部超时，超时时间2s。• 去运维那边执行jstat发现元空间沾满了，疯狂fgc。• 执行jmap -dump 并下载。• 使用MAT分析，发现有大量的mongo类（动态生成的，名字前缀一样）。• 排查代码发现mongoTemplate没有使用单例导致。• 修改代码并压测，使用VisualVM程序各个指标（发现镜像使用不正确导致线程数不对）
java读取大文件内存溢出
你今天真好看呀
07-30 3029
java读取大文件时出现java.lang.OutOfMemoryError: Java heap space Exception in thread “main” java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3332) at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java
sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)
夏季版
04-09 8977
Java 内存泄漏：原因、检测和预防
Kenard的博客
01-11 1257
尽管 Java 语言具有强大的自动垃圾回收功能，但 Java 中的内存泄漏对于程序猿来说仍然是一个具有挑战性的问题。当应用程序不再需要对象但仍从其他对象引用对象时，就会发生这些泄漏，从而阻止垃圾收集器回收其内存。随着时间的推移，这可能会导致应用程序性能显着下降，甚至导致应用程序因OutOfMemoryError. 这篇文章旨在深入研究 Java 内存泄漏的细微差别，探索其检测方法和预防策略。
java内存泄露如何排查
依步_的专栏
05-12 1114
问题：某jboss服务器经过一段时间运行后内存使用率持续增长至90+%，根据现象判断可推断出存在内存泄露 一、heapdump文件分析 java heapdump文件获取命令： /xxx/openjdk-1.8.0_92/bin/jmap -dump:format=b,file=/xxx/my.hprof 使用 EclipseMemory Analyzer 内存分析工具解析 my.hprof 文件 （1）点击“Leak Suspects”查看内存泄露报告 （2）内存泄露报告显示有17..
Java服务内存泄漏常见排查方案
qq_40664458的博客
06-26 6760
常见的内存泄漏排查场景
java bufferedreader读文件
06-28
### 回答1： Java中的BufferedReader可以用来读取文件。以下是一个简单的示例： ``` import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; public class ReadFile { public static void main(String[] args) { try { BufferedReader reader = new BufferedReader(new FileReader("filename.txt")); String line = reader.readLine(); while (line != null) { System.out.println(line); line = reader.readLine(); } reader.close(); } catch (IOException e) { e.printStackTrace(); } } } ``` 这个示例中，我们首先创建了一个BufferedReader对象，它使用FileReader来读取文件。然后我们使用readLine()方法来逐行读取文件内容，并将每行内容打印到控制台上。最后我们关闭了BufferedReader对象。 ### 回答2： Java中，BufferedReader是一种常用的文件读取方式。使用BufferedReader读取文件时，可以通过一次读取多行文本，提高读取效率，同时也可以避免频繁访问文件，降低I/O操作的开销。 BufferedReader类提供了readLine()方法，用于读取一行文本并返回字符串。当文件读取到末尾时，readLine()方法返回null。在使用BufferedReader读取文件时，首先需要创建一个FileReader实例用于打开文件，然后将FileReader实例作为参数创建一个BufferedReader实例，最后调用BufferedReader实例的readLine()方法，开始读取文件内容。 在使用BufferedReader读取文件时，需要注意的是，readLine()方法只能返回字符串类型的数据，因此，如果需要读取数字或其他类型的数据，需要先将字符串类型的数据进行转换。 另外，当读取大文件时，需要考虑到内存的限制问题。如果文件过大，一次性读取整个文件内容到内存中，可能会导致内存溢出等问题。因此，可以考虑分块读取文件内容，或者使用Java NIO中的FileChannel进行文件读取操作。 总之，Java中的BufferedReader类提供了一种高效、便捷的文件读取方式。通过合理地使用BufferedReader，可以优化文件读取操作，提高程序的性能和效率。 ### 回答3： Java中BufferedReader读文件是一种常见的方法，通过读取文件中的数据，可以对数据进行处理和分析。BufferedReader继承自Reader类，其主要作用是帮助我们缓存读取文件的数据，从而提高读取效率。 BufferedReader读文件的具体步骤如下： 1.创建FileReader对象：首先需要创建FileReader对象，用于读取文件中的数据。创建该对象时，需要传入要读取的文件路径。 2.创建BufferedReader对象：接下来需要创建BufferedReader对象，用于读取数据。在创建该对象时，需要将FileReader对象作为参数传入。 3.读取文件数据：通过使用BufferedReader对象的readLine()方法，可以一次读取一行数据。在读取文件时，需要使用循环来获取文件中的所有数据。 4.关闭BufferedReader对象：在读取完文件中的数据后，需要关闭BufferedReader对象，以释放资源。 例如：我们读取一个txt文件中的数据内容，步骤如下： import java.io.*; public class BufferedReaderDemo { public static void main(String[] args) { try { //创建FileReader对象 FileReader reader = new FileReader("C:\\file.txt"); //创建BufferedReader对象 BufferedReader bufferedReader = new BufferedReader(reader); String line; //读取文件内容 while ((line = bufferedReader.readLine()) != null) { System.out.println(line); } //关闭BufferedReader对象 bufferedReader.close(); } catch (IOException e) { e.printStackTrace(); } } } 以上是Java中BufferedReader读文件的基本操作步骤，在实际应用中可以根据具体需求进行适当调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值