![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
大水怪卢云
这个作者很懒,什么都没留下…
展开
-
Hadoop-2.2.0的编译!!!
先来无事想安装下hadoop-2.2.0,看看宣传中的许多新特性。再网上找教程的时候突然发现原来官方只有32位版本的。需要自己对源代码进行编译才能得到64位版本的。赶紧又去网上搜资料,忙活了一天终于编译成功了。 具体过程如下: 下载Hadoop2.2.0源代码包hadoop-2.2.0-src.tar.gz 地址:http://hadoop.apache.org/re原创 2014-02-23 21:38:07 · 501 阅读 · 0 评论 -
hadoop2.2.0 nodemanager启动后失败分析!!!
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。 检查日志信息发现,org.apache.hadoop.ipc.Client:一直试图与一个0.0.0.0:8031的服务器通信(一直不成功)过了一段时间后,nodemanager失败原创 2014-04-16 22:07:32 · 751 阅读 · 2 评论 -
Hadoop二次排序的个人理解
看了多篇文档,现总结自己对二次排序的理解; 1.流程 各个阶段; input ---> split ——> recordreader ——> 形成复合键值对textpair ——> 分区(setGroupingComparatorClass设置的分区方法)输出 ——> 对每个分区进行排序setSortComparatorClass(按照设定的排序方式对textpair进行排序,其实这已经进原创 2014-11-18 15:25:22 · 308 阅读 · 0 评论 -
NameNode升级源码小析
公司升级集群升级hadoop版本的时候,为了更好的为升级提供安全保障,简单了解了一下hadoop的namenode升级源码,在此记录原创 2017-09-23 15:23:19 · 468 阅读 · 0 评论 -
TEZ 0.8.5与Hadoop2.7.3的guava兼容性问题
1. 背景描述 为了提升Hive的处理能力,同时为Hive2.0的llap做技术准备,因此准备将集群Hive的引擎由mr更改为tez。 2. 问题 在将Hive的引擎由MR替换为tez后,在运行任务时,经常会出现如下的报错: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwat原创 2017-10-15 16:33:30 · 1817 阅读 · 0 评论