HBase 集群环境搭建-基于Hadoop2.2.0

• 说明：此次事件用到的HBase为HBase0.96.0，搭建在Hadoop2.2.0版本上。

---

一 安装前需检查内容：

1. jdk，hadoop2.2.0 是否已正确安装；
2. 检查集群 SSH 环境是否成功；

3. NTP:集群的时钟要保证基本的一致，看每台机器的时间是否一样,
   如果你查询的时候或者是遇到奇怪的故障，可以检查一下系统时间是否正确。
   设置集群各个节点时钟

   • date -s “2014-04-18 15:00:00”

4. ulimit 和 nproc;
   HBase是数据库，会在同一时间使用很多的文件句柄，大多数linux系统使用的默认值1024是不能满足。
   可以先查看当前用户 ulimit：

   • ulimit -n

   设置ulimit:

   • vi /etc/security/limits.conf

   然后在此配置文件中添加如下内容：
   * soft nofile 10240
   * hard nofile 10240

   这个配置不能及时生效，还需要通过 ulimit -n 设置，如下

   • ulimit -n 10240

   如果此项没有设置，可能报如下错误：
   java.io.IOException:Too many open files

   还有这个内容也许添加进这个配置文件：
   * soft nproc 10240
   * hard nproc 10240

   可以通过 ulimit -c 查看此项配置。
   如果这个配置没有设置，可能报如下错误：
   java.long.OutOfMemoryError:unable to create new native thread

5. 修改Hadoop HDFS Datanode同时处理文件的上限，即这个参数：dfs.datanode.max.xcievers。
   一个 Hadoop HDFS Datanode 有一个同时处理文件的上限，配置conf/hdfs-site.xml里面的xceivers参数，至少要有4096。

<property>
   <name>dfs.datanode.max.xcievers</name>
   <value>4096</value>
</property>

PS:对于HDFS修改配置要记得重启

二 关于HBase的配置

配置conf/hbase-env.sh

#exportJAVA_HOME=/usr/java/jdk1.7.0_04/
exportJAVA_HOME=/usr/java/jdk1.7.0_04/
# Tell HBase whether it should manage it'sowninstance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理 一个zookeep集群。这个集群会随着Hbase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.

配置conf/hbase-site.xml

<configuration>
  <property>  
    <name>hbase.rootdir</name>   
    <value>hdfs://hadoop1:49002/hbase</value>  
  </property>  
  <property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
  </property>  
    <property>  
      <name>hbase.zookeeper.property.clientPort</name>  
      <value>2222</value>  
    </property>  
    <property>  
      <name>hbase.zookeeper.quorum</name>  
      <value>hadoop1,hadoop2,hadoop3</value>  
    </property>  
    <property>  
      <name>hbase.zookeeper.property.dataDir</name>  
      <value>/opt/hadoop/zookeeper</value>  
    </property>  
</configuration>

• hbase.rootdir：这个目 录是region server的共享目录，用来持久化Hbase。URL需要是’完全正确’的，还要包含文件系统的scheme。例如，要表示hdfs中的’/hbase’目录，namenode 运行在node1的49002端口。则需要设置为hdfs://node1:49002/hbase。默认情况下Hbase是写到/tmp的。不改这个配 置，数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

• hbase.cluster.distributed：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。
  默认: false

在hbase-site.xml配置zookeeper,当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。
对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum.该这个字段的默认值是 localhost，这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

• hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。 客户端连接的端口。

• hbase.zookeeper.quorum：Zookeeper 集群的地址列表，用逗号分割。例 如：”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK， 这些ZooKeeper节点就会和Hbase一起启动。
  默认: localhost

PS:运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就 越高，当然只能部署奇数个，偶数个是不可以的。你需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重，不要把Zookeeper和RegionServer运行在同一台机器上 面。就像DataNodes 和 TaskTrackers一样

配置conf/regionservers

hadoop1
hadoop2
hadoop3

完全分布式模式的还需要修改conf/regionservers. 在这里列出了你希望运行的全部 HRegionServer，一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动，集群的停止而停止。

验证安装

有几个要点总结如下：

• 当Hbase托管ZooKeeper的时候Zookeeper集群的启动是Hbase启动脚本的一部分；
• 首先确认你的HDFS是运行着的；
• 用如下命令启动Hbase:

bin/start-hbase.sh

你现在已经启动Hbase了。Hbase把log记在 logs 子目录里面. 当Hbase启动出问题的时候，可以看看Log.

PS：
Hbase也有一个界面，上面会列出重要的属性。默认是在Master的60010端口上H (HBase RegionServers 会默认绑定 60020端口，在端口60030上有一个展示信息的界面 ).如果Master运行在 node1，端口是默认的话，你可以用浏览器在 http://hadoop1:60010看到主界面. .

可以在Hbase Shell停止Hbase

bin/stop-hbase.sh

PS:
如果你正在运行一个分布式的操作，要确认在Hbase彻底停止之前，Hadoop不能停.