Hbase概述及其安装部署

概述

基本概念

1. hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql(非关系型数据库)的数据库系统。
2. 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range(范围)来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
3. 主要用来存储结构化和半结构化的松散数据。
4. Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务）
5. Hbase中支持的数据类型：byte[]
6. 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
7. HBase中表的特点
   大：一个表可以有上十亿行，上百万列
   面向列:面向列(族)的存储和权限控制，列(族)独立检索。
   稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

Hbase与Hadoop的关系

HDFS

• 为分布式存储提供文件系统
• 针对存储大尺寸的文件进行优化，不适用对HDFS上的文件进行随机读写
• 直接使用文件
• 数据模型不灵活
• 使用文件系统和处理框架
• 优化一次写入，多次读取的方式

Hbase

• 提供表状的面向列的数据存储
• 针对表状数据的随机读写进行优化
• 使用key-value操作数据
• 提供灵活的数据模型
• 使用表状存储，支持MapReduce，依赖HDFS
• 优化了多次读，以及多次写

RDBMS(关系型数据库)与HBase的对比

关系型数据库

结构：

• 数据库以表的形式存在
• 支持FAT、NTFS、EXT、文件系统
• 使用Commit log存储日志
• 参考系统是坐标系统
• 使用主键（PK）
• 支持分区
• 使用行、列、单元格

功能：

• 支持向上扩展
• 使用SQL查询
• 面向行，即每一行都是一个连续单元
• 数据总量依赖于服务器配置
• 具有ACID支持
  原子性、一致性、隔离性和持久性,简称事务的ACID特性
• 适合结构化数据
• 传统关系型数据库一般都是中心化的
• 支持事务
• 支持Join

Hbase

结构：

• 数据库以region(区域)的形式存在
• 支持HDFS文件系统
• 使用WAL（Write-Ahead Logs）存储日志
• 参考系统是Zookeeper
• 使用行键（row key）
• 支持分片
• 使用行、列、列族和单元格

功能：

• 支持向外扩展
• 使用API和MapReduce来访问HBase表数据
• 面向列，即每一列都是一个连续的单元
• 数据总量不依赖具体某台机器，而取决于机器数量
• HBase不支持ACID（Atomicity、Consistency、Isolation、Durability原子性、一致性、隔离性、耐久性）
• 适合结构化数据和非结构化数据
• 一般都是分布式的
• HBase不支持事务
  事务：在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元
• 不支持SQL
• 不支持Join

HBase特征

1. 海量存储
   Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。

2. 列式存储
   这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。

3. 极易扩展
   Hbase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS）。
   通过横向添加RegionSever的机器，进行水平扩展，提升Hbase上层的处理能力，提升Hbsae服务更多Region的能力。

安装部署

注：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行

1. 上传并解压压缩包

cd /export/soft/
tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C ../servers/

2. 修改配置文件
   第一台机器进行修改配置文件：

进入软件包：
cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
修改hbase-env.sh：
vim hbase-env.sh
修改成：
export JAVA_HOME=/export/servers/jdk1.8.0_141
export HBASE_MANAGES_ZK=false

修改hbase-site.xml：
vim hbase-site.xml
添加以下内容：
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://node01:8020/hbase</value>  
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

   <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>

        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>

        <property>
                <name>hbase.zookeeper.property.dataDir</name>
         <value>/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdata</value>
        </property>
</configuration>

修改：regionservers
vim regionservers
添加以下内容：
node01
node02
node03

创建back-masters配置文件，实现HMaster的高可用:
cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
vim backup-masters

添加：
node02

3. 将安装包分发到其他机器

将我们第一台机器的hbase的安装包拷贝到其他机器上面去：
cd /export/servers/
scp -r hbase-1.2.0-cdh5.14.0/ node02:$PWD
scp -r hbase-1.2.0-cdh5.14.0/ node03:$PWD

4. 三台机器创建软连接
   因为hbase需要读取hadoop的core-site.xml以及hdfs-site.xml当中的配置文件信息，所以我们三台机器都要执行以下命令创建软连接：

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /export/servers/hbase-1.2.0-cdh5.14.0/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /export/servers/hbase-1.2.0-cdh5.14.0/conf/hdfs-site.xml

5. 三台机器添加HBASE_HOME的环境变量

vim /etc/profile
export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0
export PATH=:$HBASE_HOME/bin:$PATH

6. 启动HBase集群启动

cd /export/servers/hbase-1.2.0-cdh5.14.0
bin/start-hbase.sh

7. 验证
   浏览器页面访问：

http://node01:60010/master-status