- 博客(6)
- 资源 (2)
- 收藏
- 关注
原创 pig-on-tez or hive-on-tez 报错
当pig-0.15或者hive-1.1-cdh5.4.0使用tez运行是 会报如下的错误,发现申请内存为-1,所以报错 发现无论是pig还是hive的相关默认配置如下 pig的 mapreduce.map.memory.mb=-1 mapreduce.reduce.memory.mb=-1 hive的 mapreduce.map.memory.mb=
2015-09-16 15:28:04
1193
原创 hive使用tez的时候tez的配置
tez没有编译好的tar包要自己编译,示例是编译0.7版本 编译方法在 tez源码的根目录下 (hadoop版本为 2.6) 执行 mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true (hadoop版本为 2.5.0) mvn package -Dhadoop.version=2.5.0 -Phadoop
2015-09-16 15:24:32
5729
原创 Hadoop YARN ERROR 1/1 local-dirs are bad *, 1/1 log-dirs are bad *
查看 nodemanager 日志发下 如下信息 2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above thresho
2015-07-16 16:08:35
11289
8
原创 hadoop2 namonode为HA 得到hadoop的active namenode具体地址代码
因为某些原因需要从namenode HA中取到active namonode 的具体地址,写了以下的代码 package com.zhang.test; import java.io.IOException; import java.net.InetAddress; import java.net.InetSocketAddress; import org.apache.
2015-07-07 17:36:11
2133
原创 pig的 Replicated Join 失败
在使用pig的特殊join是报了类似下边的错误‘发现这是pig的bug地址为 https://issues.apache.org/jira/browse/PIG-3725 错误信息 Join_6, MergeJoin_5, Join_8, Join_7, MergeJoin_2, MergeJoin_3, MergeJoin_8, MergeJoin_1, Mult
2015-07-07 17:11:23
728
原创 pig并发执行的错误
错误信息为: ERROR 2017: Internal error creating job configuration. org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobCreationException: ERROR 2017: Internal error creating job configu
2015-07-07 16:45:32
1918
1
手机飞信 java
2013-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人