eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

14 / 09 / 20  22 : 41 : 13  WARN util.NativeCodeLoader: Unable to load  native -hadoop library  for  your platform... using builtin-java classes where applicable 14 / 09 / 20  22 : 41 : 13  WARN mapred.JobClient: Use GenericOptionsParser  for  parsing the arguments. Applications should implement Tool  for  the same. 14 / 09 / 20  22 : 41 : 13  INFO input.FileInputFormat: Total input paths to process :  2 14 / 09 / 20  22 : 41 : 14  WARN snappy.LoadSnappy: Snappy  native  library not loaded 14 / 09 / 20  22 : 41 : 14  INFO mapred.JobClient: Running job: job_local911496586_0001 14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Waiting  for  map tasks 14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0 14 / 09 / 20  22 : 41 : 14  INFO mapred.Task:  Using ResourceCalculatorPlugin :  null 14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: Processing split: hdfs: //192.168.1.112:9000/txt/yw/mic.php:0+338124 14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: io.sort.mb =  100 14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0 14 / 09 / 20  22 : 41 : 14  INFO mapred.Task:  Using ResourceCalculatorPlugin :  null 14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: Processing split: hdfs: //192.168.1.112:9000/txt/yw/pip.txt:0+96393 14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: io.sort.mb =  100 14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Map task executor complete. 14 / 09 / 20  22 : 41 : 14  WARN mapred.LocalJobRunner: job_local911496586_0001 java.lang.Exception: java.lang.OutOfMemoryError: Java heap space      at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java: 354 ) Caused by: java.lang.OutOfMemoryError: Java heap space      at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java: 954 )      at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java: 673 )      at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java: 756 )      at org.apache.hadoop.mapred.MapTask.run(MapTask.java: 364 )      at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java: 223 )      at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java: 441 )      at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java: 303 )      at java.util.concurrent.FutureTask.run(FutureTask.java: 138 )      at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java: 886 )      at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java: 908 )      at java.lang.Thread.run(Thread.java: 619 ) 14 / 09 / 20  22 : 41 : 15  INFO mapred.JobClient:  map  0 % reduce  0 % 14 / 09 / 20  22 : 41 : 15  INFO mapred.JobClient: Job complete: job_local911496586_0001 14 / 09 / 20  22 : 41 : 15  INFO mapred.JobClient: Counters:  0

解决：

本文转自 梦朝思夕 51CTO博客，原文链接:http://blog.51cto.com/qiangmzsx/1556392