hadoop搭建教程之三（Hbase伪分布安装）

本文来讲 hadoop搭建教程之三（Hbase伪分布安装）

先决条件：

配置apache hadoop append，默认这个属性是false，需要设置为true

修改（hadoop/conf/hdfs-site.xml）

<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>
<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>

一、解压与安装

解压hbase-0.94.2.tar.gz到/opt/目录下

tar -zxvf hbase-0.94.2.tar.gz -C /opt

mv hbase-0.94.2 hbase

二、配置hbase-env.sh

复制lib/hadoop-core.jar到hadoop下

配置JAVA_HOME:

export JAVA_HOME=/usr/java/jdk/

zookeeper管理

export HBASE_MANAGES_ZK=true

三、配置conf/hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.master</name>
  <value>hdfs://master:60000</value>
</property>
<property>
  <name>hbase.tmp.dir</name>
  <value>/home/${user.name}/tmp</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master</value>
</property>
<property>
  <name>hbase.zookeeper.property.clientPort</name>
  <value>2181</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/home/${user.name}/zookeeper</value>
</property>

hbase.rootdir设置hbase在hdfs上的目录，主机名为hdfs的namenode节点所在的主机

hbase.cluster.distributed设置为true，表明是完全分布式的hbase集群

hbase.master设置hbase的master主机名和端口

hbase.tmp.dir设置hbase的临时文件目录

hbase.zookeeper.quorum设置zookeeper的主机，建议hi使用单数

hbase.zookeeper.property.clientPort设置zookeeper的端口

hbase.zookeeper.property.dataDir设置zookeeper的存储目录

四、配置 conf/regionservers

将所有的region server 添加到这个文件，类似与hadoop的slaves文件

master

五、覆盖Hadoop类库

需要把Hbase/lib/hadoop-0.94.2-core.jar替换成实际hadoop/hadoop-core-1.0.4.jar

rm -rf hadoop-core-1.0.3.jar

cp /opt/hadoop/hadoop-core-1.0.4.jar .

六、执行

Hbase的所有数据都存储在hdfs中，因此直接启动便可。

/bin/start-hbase.sh

/bin/hbase-daemon.sh start thrift

七、Hbase自带的WEB管理界面

http://master:60010/master-status 查看连点信息

http://master:60030/rs-status 查看regionserver信息

http://master:60010/zk.jsp 查看zookeeper信息

八、使Hadoop支持Hbase MapReduce

在HBase中，对Hadoop MapReduce进行了一些封装，使Hadoop MapReduce可以直接以HBase表作为输入和输出。一次，要配置Hadoop引入HBase的类库。在Hadoop的conf/hadoop-env.sh里面添加：

export HBASE_HOME=/opt/hbase
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.94.2.jar:$HBASE_HOME/hbase-0.94.2-tests.jar:$HBASE_
       HOME/conf:$HBASE_HOME/lib/zookeeper-3.4.3.jar:$HBASE_HOME/lib/protobuf-java-2.4.0a.jar

OK，本节到此结束。