hadoop
文章平均质量分 75
辉子0720
这个作者很懒,什么都没留下…
展开
-
hadoop2 namonode为HA 得到hadoop的active namenode具体地址代码
因为某些原因需要从namenode HA中取到active namonode 的具体地址,写了以下的代码package com.zhang.test;import java.io.IOException;import java.net.InetAddress;import java.net.InetSocketAddress;import org.apache.原创 2015-07-07 17:36:11 · 2126 阅读 · 0 评论 -
Hadoop YARN ERROR 1/1 local-dirs are bad *, 1/1 log-dirs are bad *
查看 nodemanager 日志发下 如下信息2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above thresho原创 2015-07-16 16:08:35 · 11248 阅读 · 8 评论 -
pig-on-tez or hive-on-tez 报错
当pig-0.15或者hive-1.1-cdh5.4.0使用tez运行是 会报如下的错误,发现申请内存为-1,所以报错发现无论是pig还是hive的相关默认配置如下pig的mapreduce.map.memory.mb=-1mapreduce.reduce.memory.mb=-1hive的mapreduce.map.memory.mb=原创 2015-09-16 15:28:04 · 1187 阅读 · 0 评论 -
hive使用tez的时候tez的配置
tez没有编译好的tar包要自己编译,示例是编译0.7版本编译方法在 tez源码的根目录下(hadoop版本为 2.6)执行 mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true(hadoop版本为 2.5.0)mvn package -Dhadoop.version=2.5.0 -Phadoop原创 2015-09-16 15:24:32 · 5715 阅读 · 0 评论