Hadoop v2(Yarn), HBase, Hive 异常处理

1. Unhealthy Node

    症状：执行MR在submit Job后停止， 不出现Map的进度，一直处在Pending状态，

    ResourceManager和NodeManager的Log中无其他异常，在RM开启时的Log中显示节点Unhealthy。

    方法：1).  yarn-site.xml配置 yarn.nodemanager.local-dirs 和 yarn.nodemanager.log-dirs。

<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/nachuang/Workspace/tmp/nm-local-dirs</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/home/nachuang/Workspace/tmp/nm-log-dirs</value>
</property>

                2). 在每次format之前，删除hadoop 生成的 tmp文件（在core-site.xml中配置的路径）。

2. HBase出现Zookeeper连接异常

    方法：HBase的版本必须和Hadoop对应，我使用的HBase 是0.94.4，Hadoop对应为1.0.4。

   

3. Hive 编译

    方法：最好使用JDK1.6在编译Hive(0.10.0)，用1.7编译时出现了几个问题，因为解决时修改了很多地方

                所以不确定是不是JDK的原因，不过可以试试。

                另外，从官网上下的Release版本没编过，svn co了一下才编过了。

4. Hive(0.11.0) + Hadoop Yarn(2.0.3)

     执行时报错：

Please check your configuration for mapreduce.framework.name and the correspond server addresses.)'
Execution failed with exit status: 1
Obtaining error information

    Task failed!
    Task ID:
    Stage-1

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MapRedTask

    方法： 在hive-site.xml中添加mapreduce.framework.name:

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>