hadoop内存不足问题

转载 2012年03月23日 17:09:45
1. 运行时map/reduce,包内存不足的错误,看来hadoop很耗费内存。

package hbase;

import java.io.*;
import java.util.*;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapreduce.lib.output.*;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.util.*;

public class WordCount {


//重写map方法
private static class wordMap extends Mapper<LongWritable,Text,Text,IntWritable>
{
private Text word=new Text();
private final static IntWritable one=new IntWritable(1);
public void map(LongWritable key, Text value,Context context) throws IOException,InterruptedException {
System.out.println(value);
System.out.println(key);
StringTokenizer it=new StringTokenizer(value.toString());
while(it.hasMoreTokens())
{
word.set(it.nextToken());
context.write(word, one);
}
}
}


//重写方法reduce
public static class insumReduce extends Reducer<Text,IntWritable,Text,IntWritable>
{
public void reduce(Text key, Iterator<IntWritable> values,Context context) throws Exception {
int sum=0;
while(values.hasNext())
{
sum+=values.next().get();
}
context.write(key, new IntWritable(sum));
}
}

//main
public static void main(String args[]) throws Exception
{
String input="in";
String output="testout2";
Configuration conf=new Configuration();
Job job=new Job(conf,"word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(wordMap.class);
job.setCombinerClass(insumReduce.class);
job.setReducerClass(insumReduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(input));
FileOutputFormat.setOutputPath(job, new Path(output));
System.exit(job.waitForCompletion(true)?0:1);
}
}

运行结果
12/01/16 11:09:31 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
12/01/16 11:09:31 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/01/16 11:09:31 INFO input.FileInputFormat: Total input paths to process : 2
12/01/16 11:09:32 INFO mapred.JobClient: Running job: job_local_0001
12/01/16 11:09:32 INFO input.FileInputFormat: Total input paths to process : 2
12/01/16 11:09:32 INFO mapred.MapTask: io.sort.mb = 100
12/01/16 11:09:32 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:524)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:613)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
12/01/16 11:09:33 INFO mapred.JobClient: map 0% reduce 0%
12/01/16 11:09:33 INFO mapred.JobClient: Job complete: job_local_0001
12/01/16 11:09:33 INFO mapred.JobClient: Counters: 0

分析
1. 初步估计是内存不足引起的

1. 修改hadoop文件
JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx1024m

2 修改hadoop-env.sh文件
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=2000

3, 环境变量 JAVA_OPTS
-Xms64m -Xmx1024m



修改完毕后,重新启动hadoop, 错误消失。

hadoop内存大小设置问题

前面博客里面提到,运行一次hadoop的时候出现java heap error。字面意思分配堆的时候出现错误,我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误,那必然是内存不够用了。那么这个...
  • xygl2009
  • xygl2009
  • 2015年07月13日 10:22
  • 5328

Hadoop跑程序报超过内存错误

实验跑一个900多兆网络pagerank值,我用的是python程序跑,但是单机跑不了(因为这个网络非常大,所以矩阵计算特别占内存),于是需要借助Hadoop来计算。但是hadoop开始跑的时候还是跑...
  • xylander23
  • xylander23
  • 2016年08月31日 22:22
  • 351

hadoop编程遇到的jvm问题为内存不够的解决办法

在ubuntu系统下开发hadoop程序时,遇到几个问题,小结如下。 问题:内存不足,报错:There is insufficient memory for the Java Runtime En...
  • qq_23617681
  • qq_23617681
  • 2016年04月26日 16:19
  • 1462

解决hadoop伪分布式下hdfs存储空间不足的问题

运行环境:虚拟机下Ubuntu15.0 问题的产生:在运行hadoop fs -put的指令时把一个大型文件从本地复制到hdfs时,运行到一半突然复制中断,报“name node is in saf...
  • qq_27792379
  • qq_27792379
  • 2016年05月23日 09:38
  • 3670

Hadoop运行因为container的内存大小而抛错

本文转载自:http://blog.chinaunix.net/uid-25691489-id-5587957.html Hadoop运行中抛出如下异常: Container [pid=41355,c...
  • u012042963
  • u012042963
  • 2016年11月09日 14:43
  • 3020

eclipse 内存不足的问题

  • 2008年11月15日 15:36
  • 556B
  • 下载

a63822322的解决内存不足问题的说明

  • 2010年08月27日 14:18
  • 4KB
  • 下载

解决mapgis6.7出图jpg面填充方向颠倒与内存不足问题

  • 2010年08月21日 09:59
  • 575KB
  • 下载

解决vs2010提示内存不足问题的官方补丁

  • 2012年08月17日 15:38
  • 1.62MB
  • 下载

解决内存不足问题

  • 2012年09月18日 15:58
  • 980B
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop内存不足问题
举报原因:
原因补充:

(最多只允许输入30个字)