HBASE基本安装配置

尝试了安装了一次HBASE，也学到了一点东西，记录下来

1)、增加hbase用户可以操作的文件和进程的最大数

网上看了教程，发现好多说BASE数据库会用到好多文件，需要配置一下LINUX用户的文件和进程限制。先按照网上的方法进行了配置，如下

切换到root用户

vi etc/security/limits.conf            

在最后面加上

hadoop - nproc 32000
hadoop - nofile  32768

然后

vi /etc/pam.d/login

在后面加上

session required pam_limits.so

重新用hadoop用户登录，输入命令

ulimit -a

可以看到

open files                      (-n) 32768
max user processes              (-u) 32000

可以打开的文件数和进程数已经变大

----以上文件和配置的具体含义可以查看http://blog.csdn.net/huayu0815/article/details/9090891

2)、增加Hadoop HDFS Datanode处理文件的上限

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers,需要增加它的数目，至少要4096

vi conf/hdfs-site.xml

增加配置

 <property>
    <name>dfs.datanode.max.xcievers</name>
    <value>4096</value>
 </property>

每个DataNode都配置上，配好后，重启hadoop。
3）、安装HBASE

下载hbase,我用的是hadoop-0.20.0和hbase-0.90.5

解压到自己指定的目录

1.配置conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_45
export HBASE_MANAGES_ZK=true
export HBASE_HEAPSIZE=1024

HBASE喜欢内存，#The maximum amount of heap to use

还是让HBASE_HEAPSIZE大一些

一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。这个集群会随着Hbase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.

让Hbase使用一个现有的不被Hbase托管的Zookeep集群，需要设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false

2.修改conf/hbase-site.xml

<configuration>  
  <property>  
    <name>hbase.rootdir</name>  
    <value>hdfs://hadoop0:9000/hbase</value>  
  </property> 
  <property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
  </property>  
  <property>    
    <name>hbase.zookeeper.property.clientPort</name>   
    <value>2222</value>   
  </property>
  <property> 
    <name>hbase.zookeeper.quorum</name>   
    <value>hadoop1,hadoop2,hadoop3</value>         
  </property>  
  <property>  
    <name>hbase.zookeeper.property.dataDir</name>   
    <value>/home/hadoop/zookeeper</value> 
 </property> 
</configuration>  

hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在hadoop0的9000端口。则需要设置为hdfs://hadoop0:9000/hbase。默认情况下Hbase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。默认: false

在hbase-site.xml配置zookeeper：

当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，

一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。

对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum. 该这个字段的默认值是 localhost，这个值对于分布式应用显然是不可以的. (远程连接无法使用)。 

hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。 客户端连接的端口。

hbase.zookeeper.quorum：Zookeeper集群的地址列表，用逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和Hbase一起启动。

默认: localhost

运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就越高，当然只能部署奇数个，偶数个是不可以的。你需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重，不要把Zookeeper和RegionServer运行在同一台机器上面。就像DataNodes 和 TaskTrackers一样

hbase.zookeeper.property.dataDir：ZooKeeper的zoo.conf中的配置。 快照的存储位置

把ZooKeeper保存数据的目录地址改掉。默认值是 /tmp ，这里在重启的时候会被操作系统删掉，可以把它修改到 /home/hadoop/zookeeper (这个路径hadoop用户拥有操作权限)

对于独立的Zookeeper，要指明Zookeeper的host和端口。可以在 hbase-site.xml中设置, 也可以在Hbase的CLASSPATH下面加一个zoo.cfg配置文件。 HBase 会优先加载 zoo.cfg 里面的配置，把hbase-site.xml里面的覆盖掉.

 

3.配置conf/regionservers

类似hadoop的slaves文件的配置，一行一个节点，即hbase开启regionserver服务的节点

 

4）、将hbase配置到环境变量里边

vi .bash_profile

HBASE_HOME=……

PATH=$HBASE_HOME/bin:$PATH

5）、测试

输入start-hbase.sh

输入jps

发现没有网上说的master上多出hmaster进程

网上查了一下，是HBSE依赖HADOOP，在HBASE的lib里边有一个打过补丁的hadoop.jar，出现了版本冲突

解决办法：

从hadoop_home/下面cp一个hadoop/hadoop-core-0.20.203.0.jar到hbase_home/lib下。

再次执行jps.发现在主节点上会加一个HMaster的进程

但是发现有个slave节点没有HRegionServer进程

看了日志及网上查找，发现是slave节点的时间和master上的时间相差太大引起的，默认是不能相差超过3000MS。

修改了各个节点的时间，好了，OK了，slave节点会增加对应的HRegionServer进程，配了zookeeper的节点会添加HQuorumPeer进程

（对于时间同步，网上看了，有个NTP的东西可以同步服务器时间，这个之后有时间了再看吧，先练习一下hbase的基本用法再说）