hadoop内存不足问题

转载 2012年03月23日 17:09:45
1. 运行时map/reduce,包内存不足的错误,看来hadoop很耗费内存。

package hbase;

import java.io.*;
import java.util.*;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapreduce.lib.output.*;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.util.*;

public class WordCount {


//重写map方法
private static class wordMap extends Mapper<LongWritable,Text,Text,IntWritable>
{
private Text word=new Text();
private final static IntWritable one=new IntWritable(1);
public void map(LongWritable key, Text value,Context context) throws IOException,InterruptedException {
System.out.println(value);
System.out.println(key);
StringTokenizer it=new StringTokenizer(value.toString());
while(it.hasMoreTokens())
{
word.set(it.nextToken());
context.write(word, one);
}
}
}


//重写方法reduce
public static class insumReduce extends Reducer<Text,IntWritable,Text,IntWritable>
{
public void reduce(Text key, Iterator<IntWritable> values,Context context) throws Exception {
int sum=0;
while(values.hasNext())
{
sum+=values.next().get();
}
context.write(key, new IntWritable(sum));
}
}

//main
public static void main(String args[]) throws Exception
{
String input="in";
String output="testout2";
Configuration conf=new Configuration();
Job job=new Job(conf,"word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(wordMap.class);
job.setCombinerClass(insumReduce.class);
job.setReducerClass(insumReduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(input));
FileOutputFormat.setOutputPath(job, new Path(output));
System.exit(job.waitForCompletion(true)?0:1);
}
}

运行结果
12/01/16 11:09:31 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
12/01/16 11:09:31 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/01/16 11:09:31 INFO input.FileInputFormat: Total input paths to process : 2
12/01/16 11:09:32 INFO mapred.JobClient: Running job: job_local_0001
12/01/16 11:09:32 INFO input.FileInputFormat: Total input paths to process : 2
12/01/16 11:09:32 INFO mapred.MapTask: io.sort.mb = 100
12/01/16 11:09:32 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:524)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:613)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
12/01/16 11:09:33 INFO mapred.JobClient: map 0% reduce 0%
12/01/16 11:09:33 INFO mapred.JobClient: Job complete: job_local_0001
12/01/16 11:09:33 INFO mapred.JobClient: Counters: 0

分析
1. 初步估计是内存不足引起的

1. 修改hadoop文件
JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx1024m

2 修改hadoop-env.sh文件
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=2000

3, 环境变量 JAVA_OPTS
-Xms64m -Xmx1024m



修改完毕后,重新启动hadoop, 错误消失。

相关文章推荐

Hadoop YARN中内存的设置

在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。R...

hadoop内存大小设置问题

前面博客里面提到,运行一次hadoop的时候出现java heap error。字面意思分配堆的时候出现错误,我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误,那必然是内存不够用了。那么这个...

Hadoop跑程序报超过内存错误

实验跑一个900多兆网络pagerank值,我用的是python程序跑,但是单机跑不了(因为这个网络非常大,所以矩阵计算特别占内存),于是需要借助Hadoop来计算。但是hadoop开始跑的时候还是跑...

Hadoop Yarn内存使用优化配置

第一部分Hadoop Yarn内存使用优化配置     在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可...
  • senvil
  • senvil
  • 2015-10-05 17:56
  • 3535

hadoop内存不足

问题 Container killed on request. Exit code is 143然后提示memory 2.7g in 2.1g used 这里是表示内存不够,所以修改hadoop...

HDFS的重要参数配置<一> JVM的配置

Hadoop正式上线之前,首先要调整的是各个进程的JVM参数设置,特别是对于HDFS Namenode来说。HDFS的JVM参数配置文件: hadoop-env.sh Namenode进程的JVM...

设置hadoop的client端的jvm参数

以此来纪念自己的解决方法: 今天遇到一个问题,:怎么设定hadoop提交程序时client的jvm大小(即hadoop jar 这个提交程序jvm的大小)。 网上兜了一大圈,都是说什么设定ma...

如何合理设置hadoop相关组件的jvm Xmx

1.这个问题不是很简单么?直接设置不久好了,java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题,比如,你看到/usr/local/bigdata/jdk/bin/java -Xm...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)