浅谈Java OOM问题的几种解决办法

武林秘笈（解决办法）

在生产环境中无论是内存泄漏还是内存溢出原因造成的服务故障，首先要做的最重要事情是保服务，使服务依旧可以正常对外提供服务，这时就需要我们平台管理员介入，在资源允许的前提下调整增加JVM参数重启服务来缓解OOM问题。然后监控服务在服务发生故障前重启服务避免OOM。

Hadoop框架是以java为主要开发语言的，如果你使用过Java语言那么你一定也遇到过OOM堆内存溢出的错误。接下来我们来详细看看MapReduce分布式计算框架运行过程中可能出现OOM问题的位置和每个位置相应的可配置参数，如果遇到了OOM问题并且需要保证服务正常运行，那么就可以通过管理员介入调节JVM参数来保障服务运行。

1、hadoop客户端

在Hadoop客户端提交Jar包时遇到报错OOM问题截图：

[dpm@lf-hadoop-apollo-28-235-41〜]$ hadoop jar /data/sysdir/servers/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount-Dmapreduce.job.queuename=q_m_tch.m_tch_basic /hyll0/a20 /test/hy004

java.lang.OutOfMemoryError: Java heap space

at java.util.Arrays.copyOf(Arrays.java:3236)

at sun.misc.Resource.getBytes(Resource.java:117)

at java.net.URLClassLoader.defineClass(URLClassLoader.java:462)

at java.net.URLClassLoader.access$100(URLClassLoader.java:73)

at java.net.URLClassLoader$l.run(URLClassLoader.java:368)

at java.net.URLClassLoader$l.run(URLClassLoader.java:362)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:361)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:171)

at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)

at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)

at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)

at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)

at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)

at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:227)

at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:463)

at org.apache.hadoop.fs.Path.getFileSystem(Path.java:365)

at org.apache.hadoop.map reduce.lib.input.FilelnputFormat.addInputPath(FileInputFormat.java :542)

at org.apache.hadoop.examples.WordCount.main(WordCount.java:83)

at sun.reflect.NativeMethodAccessorlmpl.invoke©(Native Method)

at sun.reflect.NativeMethodAccessorlmpl.invoke(NativeMethodAccessorlmpl.java:62)

at sun.reflect.DelegatingMethodAccessorlmpl.invoke(DelegatingMethodAccessorlmpl.java:43)

at java.lang.reflect.Method.invoke (Method.java:498)

at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)

at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)

at org.apache.hadoop.examples .Exampl.eDriver.main(ExampleDriver, java:74)

at sun.reflect.NativeMethodAccessorlmpl.invoke©(Native Method)

at sun.reflect.NativeMethodAccessorlmpl.invoke(NativeMethodAccessorlmpl.java:62)

at sun.reflect.DelegatingMethodAccessorlmpl. invoke(DelegatingMethodAccessorlmpl.java:43)

若遇到上图问题，可以直接通过修改hadoop客户端的hadoop-env.sh文件中HADOOP_CLIENT_OPTS来永久的修改客户端HADOOP_CLIENT_OPTS JVM参数，也可以通过命令行临时修改：

export HADOOP_CLIENT_OPTS=“-Xmx128m $HADOOP_CLIENT_OPTS”

2、APPMaster阶段

APPMaster启动运行时遇到内存不足问题：

2021-12-13 14:46:27,465 ERROR [Listener at 0.0.0.0/30046]org.apache,hadoop.mapreduce.v2.app.MRAppMaster:Error starting MRAppMaster java.lang.OutOfMemoryError:GC overhead limit exceeded

at java.util.Arrays.copyOfRange(Arrays,java:3664)

at java.lang.String.(String,java:207)

at java.lang.StringBuilder.toString(StringBuilder.java:407)

at org.apache,hadoop.conf.Configuration$Parser.handleEndElement(Configuration,java:3246)

at org.apache,hadoop.conf.Configuration$Parser.parseNext(Configuration,java:3331)

at org.apache,hadoop.conf.Configuration$Parser.parse(Configuration,java :3114)

at org.apache,hadoop.conf.Configuration.loadResource(Configuration,java:3007)

at org.apache,hadoop.conf.Configuration.loadResources(Configuration,java:2973)

at org.apache,hadoop.conf.Configuration.getProps(Configuration,java:2848)

at org.apache,hadoop.conf.Configuration,get(Configuration.java:1460)

at org.apache,hadoop.security,authorize.ServiceAuthorizationManager.refreshWithLoadedConfiguration(ServiceAuthorizationManager.java:161)

at org.apache,hadoop.security,authorize.ServiceAuthorizationManager.refresh(ServiceAuthorizationManager.java:150)

at org.apache,hadoop.ipc.Server.refreshServiceAcl(Server,java :664)

at org.apache,hadoop.mapreduce.v2.app.client.MRClientService.refreshServiceAcls(MRClientService.java:156)

at org.apache,hadoop.mapreduce.v2.app.client.MRClientService.serviceStart(MRClientService.java:131)

at org.apache,hadoop.service.AbstractService.start(AbstractService.java:194)

at org.apache,hadoop.mapreduce.v2.app.MRAppMaster.serviceStart(MRAppMaster.java:1290)

at org.apache,hadoop.service.AbstractService.start(AbstractService.java:194)

at org.apache,hadoop.mapreduce.v2.app.MRAppMaster$6.run(MRAppMaster.java:1761)

at java,security.AccessController.doPrivileged(Native Method)

at javax.security,auth.Subject.doAs(Subject, java:422)

at org.apache,hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)

at org.apache,hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1757)

at org.apache,hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1691)

2021-12-13 14:46:29,478 INFO [Listener at 0.0.0.0/30046]org.apache,hadoop.util.ExitUtil:Exiting with status 1:java.lang.OutOfMemoryError:GC overhead limit exceeded

若遇上述问题可修改客户端配置文件mapred-site.xml

##为AM分配的内存

yarn.app.mapreduce.am.resource.mb

516

##给AM分配的JVM启动参数

yarn.app.mapreduce.am.command-opts

-Xmx2048m

3、Map阶段

Map阶段运行时报出OOM问题截图:

2021-12-10 15:22:10, 475 ERROR [main] org. apache, hadoop. mapred. YarnChild: Error running child : java. lang. OutOfMemoryError: Java heap space

at org.apache,hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask. java:1000)

at org.apache,hadoop.mapred.MapTask.createSortingCollector(MapTask. java:408)

at org.apache,hadoop.mapred.MapTask.access$100(MapTask. java :82)

at org.apache,hadoop.mapred.MapTask$NewOutputCollector.(MapTask. java :710)

at org.apache,hadoop.mapred. MapTask.runNewMapper(MapTask. java :782)

at org.apache,hadoop.mapred. MapTask.run(MapTask. java:347)

at org.apache,hadoop.mapred.YarnChild$2.run(YarnChiId. java:174)

at java,security.AccessController.doPrivileged(Native Method)

at javax.ecurity,auth.Subject.doAs(Subject, java:422)

at org.apache,hadoop.security.UserGroupInformation.doAs(UserGroupInformation. java:1730)

at org.apache,hadoop.mapred.YarnChiId.main(YarnChiId. java:168)

最后的内容

在开头跟大家分享的时候我就说，面试我是没有做好准备的，全靠平时的积累，确实有点临时抱佛脚了，以至于我自己还是挺懊恼的。（准备好了或许可以拿个40k，没做准备只有30k+，你们懂那种感觉吗）

如何准备面试？

1、前期铺垫（技术沉积）

程序员面试其实是对于技术的一次摸底考试，你的技术牛逼，那你就是大爷。大厂对于技术的要求主要体现在：基础，原理，深入研究源码，广度，实战五个方面，也只有将原理理论结合实战才能把技术点吃透。

下面是我会看的一些资料笔记，希望能帮助大家由浅入深，由点到面的学习Java，应对大厂面试官的灵魂追问

这部分内容过多，小编只贴出部分内容展示给大家了，见谅见谅！

• Java程序员必看《Java开发核心笔记（华山版）》

• Redis学习笔记

• Java并发编程学习笔记

四部分，详细拆分并发编程——并发编程+模式篇+应用篇+原理篇

• Java程序员必看书籍《深入理解 ava虚拟机第3版》（pdf版）

• 大厂面试必问——数据结构与算法汇集笔记

其他像Spring，SpringBoot，SpringCloud，SpringCloudAlibaba，Dubbo，Zookeeper，Kafka，RocketMQ，RabbitMQ，Netty，MySQL，Docker，K8s等等我都整理好，这里就不一一展示了。

2、狂刷面试题

技术主要是体现在平时的积累实用，面试前准备两个月的时间再好好复习一遍，紧接着就可以刷面试题了，下面这些面试题都是小编精心整理的，贴给大家看看。

①大厂高频45道笔试题（智商题）

②BAT大厂面试总结（部分内容截图）

③面试总结

3、结合实际，修改简历

程序员的简历一定要多下一些功夫，尤其是对一些字眼要再三斟酌，如“精通、熟悉、了解”这三者的区别一定要区分清楚，否则就是在给自己挖坑了。当然不会包装，我可以将我的简历给你参考参考，如果还不够，那下面这些简历模板任你挑选：

以上分享，希望大家可以在金三银四跳槽季找到一份好工作，但千万也记住，技术一定是平时工作种累计或者自学（或报班跟着老师学）通过实战累计的，千万不要临时抱佛脚。

另外，面试中遇到不会的问题不妨尝试讲讲自己的思路，因为有些问题不是考察我们的编程能力，而是逻辑思维表达能力；最后平时要进行自我分析与评价，做好职业规划，不断摸索，提高自己的编程能力和抽象思维能力。

眼要再三斟酌，如“精通、熟悉、了解”这三者的区别一定要区分清楚，否则就是在给自己挖坑了。当然不会包装，我可以将我的简历给你参考参考，如果还不够，那下面这些简历模板任你挑选：

[外链图片转存中…(img-eIj1AL4J-1714736257349)]

以上分享，希望大家可以在金三银四跳槽季找到一份好工作，但千万也记住，技术一定是平时工作种累计或者自学（或报班跟着老师学）通过实战累计的，千万不要临时抱佛脚。

另外，面试中遇到不会的问题不妨尝试讲讲自己的思路，因为有些问题不是考察我们的编程能力，而是逻辑思维表达能力；最后平时要进行自我分析与评价，做好职业规划，不断摸索，提高自己的编程能力和抽象思维能力。

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录