![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Yeung先森
这个作者很懒,什么都没留下…
展开
-
Hadoop内存溢出(OOM)分类、参数调优化(代码模拟内存溢出类型并分析原因)
MapReduce作业运行过程中内存溢出错误分类1、Mapper/Reducer阶段JVM内存溢出(一般都是堆)1)JVM堆(Heap)内存溢出:堆内存不足时,一般会抛出如下异常:第一种:“java.lang.OutOfMemoryError:” GC overhead limit exceeded;第二种:“Error: Java heapspace”异常信息;第三种:“ru...转载 2018-08-06 10:52:01 · 1132 阅读 · 0 评论 -
Hadoop 常见问题及解决
1,jar包执行出错,提示“class wordcount.WordCountMapper not found”错误原因:在run()代码中没有定义setJarByClass 解决方法:在wordcountJob.java中增加job.setJarByClass(getClass());2,jar包执行出错,提示“线程中的异常”主“java.lang.ClassNotFound”错误原...转载 2018-07-31 11:08:49 · 3582 阅读 · 0 评论 -
Hadoop中的数据类型(Writable、WritableComparable、Comparator、RawComparator…)
1、 在hadoop中所有的key/value都必须实现Writable接口,有两个方法,分别用于读(反序列化)和写(序列化)操作。 参考代码:package org.dragon.hadoop.mapreduce.app;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException...转载 2018-07-31 10:05:22 · 1167 阅读 · 0 评论 -
eclipse中集成hadoop插件
1.下载并安装eclipse2.https://github.com/winghc/hadoop2x-eclipse-plugin3.下载插件到eclipse的插件目录 4.配置hadoop安装目录 打开eclipsewindow ->preference -> hadoop Map/Reduce -> Hadoop installation dire...转载 2018-07-30 16:04:48 · 327 阅读 · 0 评论 -
hadoop 开发&调试
写好的hadoop任务打成jar后,可以在服务器上用命令hadoop jar 提交。但开发阶段总不能一直用这种方式来调试,最好是在本机的ide 上可以直接debug。如果在wiindow上配置一套开发调试环境,说实话真是觉得很不爽。为了以后方便,整理了一下windows 下hadoop开发环境的配置和调试过程。 首先本地下载一个和服务器相同版本的hadoop安装包。然后配置...转载 2018-09-13 21:09:19 · 860 阅读 · 0 评论