基于Hbase数据的Mapreduce程序环境开发

一、实验目标

　　编写Mapreduce程序，以Hbase表数据为Map输入源，计算结果输出到HDFS或者Hbase表中。

在非CDH5的Hadoop集群环境中，将编写好的Mapreduce程序整个工程打成Jar包提交到Hadoop集群中运行。 本文记录实验过程中的遇到的问题及解决思路。

　　简单描述集群环境：Hadoop2.6, Hbase0.98 。

　　1、因Mapreduce程序中使用到了Hbase的Java API ,那么必须把Hbase的相应的lib包，复制到Hadoop集群环境中的每个节点的Hadoop目录。网上的资料大部分说将hbase-0.98.jar 复制到hadoop/lib目录。hadoop2.6版本中的jar包都在share目录中，包含hdfs,common,yarn等子目录。实验环境中的Hbase0.98为官方下载的：hbase-0.98.10-hadoop2-bin.tar.gz。解压该文件后，我将lib目录中，以hbase开头，及high-scale-lib-1.1.1.jar、htrace-core-2.04.jar复制到了hadoop2.6中share/common目录中。hadoop2.6/share/common/   hadoop2.6/share/common/lib等目录中的jar包，在集群启动的时候已经添加到了classpath中。

　　　　

      2、 RMProxy: Connecting to ResourceManager Already tried 1 time(s); 

  　　　 出现该错误：检查防火墙是否关闭 or 集群中的Yarn服务是否启动。

转载于:https://www.cnblogs.com/tmeily/p/4502387.html