- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 TEZ 0.8.5与Hadoop2.7.3的guava兼容性问题
1. 背景描述为了提升Hive的处理能力，同时为Hive2.0的llap做技术准备，因此准备将集群Hive的引擎由mr更改为tez。2. 问题在将Hive的引擎由MR替换为tez后，在运行任务时，经常会出现如下的报错：java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwat
2017-10-15 16:33:30
1796
原创 NameNode升级源码小析
公司升级集群升级hadoop版本的时候，为了更好的为升级提供安全保障，简单了解了一下hadoop的namenode升级源码，在此记录
2017-09-23 15:23:19
448
原创 Hive on tez的insert union 子目录的问题
hive tez insert union all问题（1）问题描述在hive中使用tez模式时，发现tez的输出结果在对应表目录中，生成了子目录，造成未配置tez的hive客户端对该表进行读取时，无法获取到数据。检查表的输出目录，在分区目录下发现了两个子目录:1和2：/user/hive/test1/20170920000000/1/user/hive/test1/20170
2017-09-23 15:18:45
5177
1
原创 Hadoop二次排序的个人理解
看了多篇文档，现总结自己对二次排序的理解；1.流程 各个阶段；input ---> split ——> recordreader ——> 形成复合键值对textpair ——> 分区（setGroupingComparatorClass设置的分区方法）输出 ——> 对每个分区进行排序setSortComparatorClass（按照设定的排序方式对textpair进行排序，其实这已经进
2014-11-18 15:25:22
297
原创 hadoop2.2.0 nodemanager启动后失败分析！！！
在安装好hadoop2.2.0集群后，依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。但是过了一段时间后会发现nodemanager会自动失败退出。检查日志信息发现，org.apache.hadoop.ipc.Client:一直试图与一个0.0.0.0：8031的服务器通信（一直不成功）过了一段时间后，nodemanager失败
2014-04-16 22:07:32
741
2
原创 Hadoop-2.2.0的编译！！！
先来无事想安装下hadoop-2.2.0,看看宣传中的许多新特性。再网上找教程的时候突然发现原来官方只有32位版本的。需要自己对源代码进行编译才能得到64位版本的。赶紧又去网上搜资料，忙活了一天终于编译成功了。 具体过程如下：下载Hadoop2.2.0源代码包hadoop-2.2.0-src.tar.gz 地址：http://hadoop.apache.org/re
2014-02-23 21:38:07
493
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人