大数据
大水怪卢云
这个作者很懒,什么都没留下…
展开
-
Hadoop-2.2.0的编译!!!
先来无事想安装下hadoop-2.2.0,看看宣传中的许多新特性。再网上找教程的时候突然发现原来官方只有32位版本的。需要自己对源代码进行编译才能得到64位版本的。赶紧又去网上搜资料,忙活了一天终于编译成功了。 具体过程如下: 下载Hadoop2.2.0源代码包hadoop-2.2.0-src.tar.gz 地址:http://hadoop.apache.org/re原创 2014-02-23 21:38:07 · 489 阅读 · 0 评论 -
hadoop2.2.0 nodemanager启动后失败分析!!!
在安装好hadoop2.2.0集群后,依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。 检查日志信息发现,org.apache.hadoop.ipc.Client:一直试图与一个0.0.0.0:8031的服务器通信(一直不成功)过了一段时间后,nodemanager失败原创 2014-04-16 22:07:32 · 739 阅读 · 2 评论 -
Hadoop二次排序的个人理解
看了多篇文档,现总结自己对二次排序的理解; 1.流程 各个阶段; input ---> split ——> recordreader ——> 形成复合键值对textpair ——> 分区(setGroupingComparatorClass设置的分区方法)输出 ——> 对每个分区进行排序setSortComparatorClass(按照设定的排序方式对textpair进行排序,其实这已经进原创 2014-11-18 15:25:22 · 293 阅读 · 0 评论