HBase 0.90.5 + Hadoop 1.0.0 集成

自从Hadoop升级到1.0以后，在与Hive，HBase等集成上经常会出现问题。

Hive：http://blog.csdn.net/kunshan_shenbin/article/details/7105319

在Hive0.8中写死了与之兼容的Hadoop的版本号(0.2x.x)，而Hadoop又偏偏修改了他的版本命名规则，不得已只能重现编译Hive：

https://issues.apache.org/jira/browse/HIVE-2631

上文讲诉了Pig的安装和使用：

Pig：http://blog.csdn.net/kunshan_shenbin/article/details/7208103

这次该对HBase进行一下说明了。HBase使用最新的0.90.5。

A. 安装

cd /usr/local

wget www.apache.org/dist//hbase/stable/hbase-0.90.5.tar.gz

chmod 777 hbase-0.90.5.tar.gz

tar -zxvf hbase-0.90.5.tar.gz

mv hbase-0.90.5 hbase

B. 修改配置文件(hbase/conf)：

1. 修改hbse-env.sh文件：
export JAVA_HOME=/usr/java/jdk1.7.0_01
export HBASE_MANAGES_ZK=true $使用hbase自带的zookeeper

2. 修改hbase-site.xml文件：

<configuration>

<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:54310/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>slave</value>
</property>
<property>
    <name>zookeeper.session.timeout</name>
    <value>60000</value>
</property>
<property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2222</value>
</property>

</configuration>

3. 修改regionservers文件，使用机器名替换localhost,例如slave。

测试时在master以及slave端的个机器都使用了一致的配置方式。

C. 由于使用的Hadoop1.0.0，HBase0,90.5并不支持这个版本，需要替换相关的Jar包：

hbase/lib下找到：hadoop-core-0.20-append-r1056497.jar 后删除它。

从Hadoop/lib下找到hadoop-core-1.0.0.jar和commons-configuration-1.6.jar，并拷贝到hbase/lib下。

这个需要在master和各slave上分别进行。

D. 运行HBase：

/hbase/bin/start-hbase.sh

可以通过 http://master:60010/master.jsp 访问Hbase。

问题点：

hbase 结点之间时间不一致造成regionserver启动失败：

Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server s3,60020,1304927875246 has been rejected; Reported time is too far out of sync with master.  Time difference of 41450ms > max allowed of 30000ms

1.方案1
在hbase-site.xml添加配置
<property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
        <description>Time difference of regionserver from master</description>
 </property>

2.方案2
修改各结点时间，使其误差在30s内

参考资料：

http://blog.csdn.net/chengweipeng123/article/details/7174717

http://hbluojiahui.blog.163.com/blog/static/310647672011427103841280/

http://hi.baidu.com/dekar/blog/item/f5c034efcf080e5778f055a6.html