解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError：Java heap space问题

最新推荐文章于 2021-07-07 14:33:15 发布

HaleGe

最新推荐文章于 2021-07-07 14:33:15 发布

阅读量2k

点赞数

分类专栏： Hadoop MapReduce Java 文章标签： hadoop mapreduce outofmemoryerror java 解决方案

本文链接：https://blog.csdn.net/geyanhao/article/details/50033289

版权

在研究Mahout时，通过Hadoop执行jar包遇到MapReduce任务启动前的OutOfMemoryError。尝试了IDE配置、shell参数、JDK设置均未成功。最后在CSDN论坛找到解决方案，需要在hadoop-env.sh中添加-Xmx参数来调整内存配置。

摘要由CSDN通过智能技术生成

最近在研究Mahout开源代码时尝试利用MapReduce加载本地训练好的机器学习模型至集群并进行分布式预测，整个程序通过Hadoop jar XXXX.jar来执行，

期间由于需要在本地进行模型训练同时训练数据集条目较多模型规模比较大，导致在本地训练模型时JAVA报错：java.error.OutOfMemoryError：Java heap space

遇到问题后尝试通过Idea14的前端配置页面进行配置，无效；尝试在shell中添加-Xmx配置参数，无效；尝试在jdk中更改-Xmx参数，同样无效。

最终在http://bbs.csdn.net/topics/390922318 中找到ID为ramontop1的大神的正确解决方案：

前往hadoop安装目录下的hadoop-env.sh,我的Mac的相应目录路径为$~/hadoop-2.6.1/etc/hadoop/hadoop-env.sh

vi后找到如下的参数配置并添加-Xmx配置：

# Extra Java runtime options.  Empty by default.
exp

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

HaleGe

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hue oozie OutOfMemoryError: Java heap space

Learning

12-23

1245

报出的错误：OutOfMemoryError: Java heap space 问题出现的场景：使用hue提交spark作业本来一个在终端使用spark-submit提交可以运行成功的程序，等配置到hue上竟然堆异常了。关键在hue上也配置了--num-executors等参数，而且和spark submit提交方式的参数一样的。优化了半天发现依然不能通过。所以我们猜想是hue在提交sp

yarn:hadoop YarnChild OutOfMemoryError Java heap space || GC Overhead limit

九师兄

05-14

1231

org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

参与评论您还未登录，请先登录后发表或查看评论

Mapreduce执行存储问题处理

weixin_44942281的博客

07-07

224

问题描述： mapreduce程序jar包，导出上传至hadoop集群yarn上执行程序，报出内存不足问题，如图：问题处理： 1、在/opt/module/hadoop-3.1.4/etc/hadoop/下的mapred-site.xml中添加如下配置：（其中的数字大小可以根据自己电脑的内存大小情况更改）。 <property> 　　<name>mapreduce.map.memory.mb</name> 　　<value>512</value&gt

Hadoop java.lang.OutOfMemoryError: Java heap space的解决方法

ForeverNull的专栏

06-05

3821

安装hadoop后，运行手册中的测试代码：

java.lang.OutOfMemoryError: Java heap space

epitomizelu的专栏

12-18

517

出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。在hadoop-0.20.2/conf/mapred-site.xml里设置一下hadoop的mapred.child.java.opts。该值默认为200M。在文件中添加如下键值对： mapred.child.java.opts -Xmx512M

java.lang.OutOfMemoryError: Java heap space Hadoop

左手是诗，右手是代码。

04-17

2154

最近，随着大数据的兴起，Java实现的Hadoop成了这个数据领域的领跑者，不管是HDFS，还是MapReduce，还是Hive都成了很热的词汇。也从Hadoop这个软件本体催生了一个依存此的大数据领域，也和时下热的不能再热的云计算拉上了关系。于是，作为一个程序员，不得不学习新的技术和知识，来保证自己的饭碗，这真是一个极为辛苦的差事。于是，开始接触Hadoop。结果也就是难免不出

hiveorg.apache.hadoop.mapred.TaskAttemptListenerImpl: : Error: Java heap space

shpswd1的博客

04-14

864

org.apache.hadoop.mapred.TaskAttemptListenerImpl: : Error: Java heap space hive 堆栈溢出解决 <property> <name>mapreduce.admin.map.child.java.opts</name> <value>-Xmx2048m&lt...

MapReduce写HFile，doBulkLoad方式批量导入到HBase（用 HFileOutputFormat2.configureIncrementalLoad方式不推荐）

ITwangnengjie的博客

11-21

1470

package com.xxx.xxxx.hivetable.xxxx.usepartition.five_min_xxx_to_hbase; /** * 2019/11/20 */ import org.apache.hadoop.hbase.mapred.TableOutputFormat; import org.apache.hadoop.conf.Configuration; imp...

【MapReduce任务成功秘笈】：OOM影响分析与解决路径详解

[【MapReduce任务成功秘笈】：OOM影响分析与解决路径详解](https://media.geeksforgeeks.org/wp-content/uploads/20221118123444/gfgarticle.jpg) # 1. MapReduce任务概述 ## 1.1 MapReduce简介 MapReduce是一种...

Hadoop DataNode OR NameNode java.lang.OutOfMemoryError: Java heap space 解决

qq316895454的专栏

07-16

1310

修改hadoop-env.sh 设置 Java内存 HADOOP_NAMENODE_OPTS=-Xmx4096m HADOOP_DATANODE_OPTS=-Xmx2048m

hadoop java.lang.OutOfMemoryError: Java heap space

kebexue的博客

07-25

305

修改hadoop-env.sh中的 export HADOOP_CLIENT_OPTS="-Xmx2048m" 重新启动集群

Hadoop运行Mapreduce作业时报错：java.lang.OutOfMemoryError: Java heap space

panguoyuan的专栏

07-23

8081

当运行Hadoop运行Mapreduce作业时报错：java.lang.OutOfMemoryError: Java heap space

hadoop异常java heap space

火炬手

04-07

1261

今天，在运行MapReduce程序时出现了java heap space 异常，经过在网上浏览了一番后发现是由于JVM的最大堆的大小太小导致的。在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。 JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms

hadoop的mapreduce作业中经常出现的Out Of Memory解决方案

切梦

10-25

671

常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？” 10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED java.lang.OutOfMemoryError...

hadoop的mapreduce作业中经常出现Java heap space解决方案

热门推荐

似水流年

08-10

1万+

我们经常遇到这样的问题，内存溢出，内存溢出的原因是很简单，不够用了，不够用该怎么设置，通过水设置。可以参考下面案例一、hadoop的mapreduce作业中经常出现Java heap space解决方案 常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？” 10/01/10 12:48:01 INF

关于java.lang.OutOfMemoryError:java heap space错误解决方案

liuxiaochen123的专栏

11-25

3847

//首先检查程序有没有限入死循环　　这个问题主要还是由这个问题 java.lang.OutOfMemoryError: Java heap space 引起的。第一次出现这样的的问题以后，引发了其他的问题。在网上一查可能是JAVA的堆栈设置太小的原因。　　跟据网上的答案大致有这两种解决方法：　　1、设置环境变量　　解决方法：手动设置Heap size

Hadoop报错 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded

戴着红领巾走世界

04-03

3581

今天在查看Hadoop平台上HDFS数据文件文件半天没反应，最后报错：Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded，超出GC开销限制。报这种错误常见的原因有以下几种： 1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据； 2.集合类中有对对象的引用，使用完后未清空，使得JV...

模拟实战排查堆内存溢出（java.lang.OutOfMemoryError: Java heap space）问题

HaSaKing的博客

03-02

931

前言模拟实战中排查堆内存溢出（java.lang.OutOfMemoryError: Java heap space）的问题。堆内存溢出的原因：一般都是创建了大量的对象，这些对象一直被引用着，无法被GC垃圾回收掉，最终导致堆内存被占满，没有足够的空间存放新创建的对象时，就会出现堆内存溢出问题。在实际的业务场景中出现内存溢出的问题，排查起来一般是十分困难繁琐的，本文将通过结合一个简单的实例来阐述排查的具体思路和步骤。准备注意：在实际场景中，一般都是部署在Linux服务器中的项目报出内存溢出的问题；为

flink java.lang.OutOfMemoryError: Java heap space