1. Unhealthy Node
症状:执行MR在submit Job后停止, 不出现Map的进度,一直处在Pending状态,
ResourceManager和NodeManager的Log中无其他异常,在RM开启时的Log中显示节点Unhealthy。
方法:1).
yarn-site.xml配置
yarn.nodemanager.local-dirs
和
yarn.nodemanager.log-dirs。
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/nachuang/Workspace/tmp/nm-local-dirs</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/home/nachuang/Workspace/tmp/nm-log-dirs</value>
</property>
2). 在每次format之前,删除hadoop 生成的 tmp文件(在core-site.xml中配置的路径)。
2. HBase出现Zookeeper连接异常
方法:HBase的版本必须和Hadoop对应,我使用的HBase 是0.94.4,Hadoop对应为1.0.4。
3. Hive 编译
方法:最好使用JDK1.6在编译Hive(0.10.0),用1.7编译时出现了几个问题,因为解决时修改了很多地方
所以不确定是不是JDK的原因,不过可以试试。
另外,从官网上下的Release版本没编过,svn co了一下才编过了。
4. Hive(0.11.0) + Hadoop Yarn(2.0.3)
执行时报错:
Please check your configuration for mapreduce.framework.name and the correspond server addresses.)'
Execution failed with exit status: 1
Obtaining error information
Execution failed with exit status: 1
Obtaining error information
Task failed!
Task ID:
Stage-1
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MapRedTask
Task ID:
Stage-1
方法: 在hive-site.xml中添加mapreduce.framework.name:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>