HBase概述

》 什么是HBase

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统

》 HBase有什么用？

利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。

用于支持结构化的数据存储

》 HBase特点
1）海量存储
Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。
2）列式存储
这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。
3）极易扩展
Hbase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS）。
通过横向添加RegionSever的机器，进行水平扩展，提升Hbase上层的处理能力，提升Hbsae服务更多Region的能力。
备注：RegionServer的作用是管理region、承接业务的访问，这个后面会详细的介绍通过横向添加Datanode的机器，进行存储层扩容，提升Hbase的数据存储能力和提升后端存储的读写能力。
4）高并发
由于目前大部分使用Hbase的架构，都是采用的廉价PC，因此单个IO的延迟其实并不小，一般在几十到上百ms之间。这里说的高并发，主要是在并发的情况下，Hbase的单个IO延迟下降并不多。能获得高并发、低延迟的服务。
5）稀疏
稀疏主要是针对Hbase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。

数据表是二维结构，行和列
建表的方式，需提前指定表名和字段
插入记录的方式，指定表名和各字段的值
添加字段不灵活

和关系数据库一样，也是使用行和列的结构

建表时，定义的是表名和列族（字段的集合），而不是具体字段

列族中可以包含任意个字段，字段名不需要预定义，每一行中同一列族中的字段也可以不一致

多维结构，关系数据库的表是二维的，通过指行、列定位一个数据，HBase中需要通过 行健、列族名、字段名、版本号才能定位到具体数据

插入数据时，一次插入一个字段的数据，不是像关系数据库那样一次插入多个字段

》 HBase与Bigtable的区别

HBase是Google Bigtable的开源实现，但是也有很多不同之处。
比如：Google Bigtable利用GFS作为其文件存储系统，
HBase利用Hadoop HDFS作为其文件存储系统；

Google运行MAPREDUCE来处理Bigtable中的海量数据，
HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；

Google Bigtable利用Chubby作为协同服务，
HBase利用Zookeeper作为对应。

chubby     英 [ˈtʃʌbi] 美 [ˈtʃʌbi]
adj.     胖乎乎的; 圆胖的; 丰满的

》 Hbase的发展历史

HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。
官方网站：http://hbase.apache.org
– 2006年Google发表BigTable白皮书
– 2006年开始开发HBase
– 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目
– 2010年HBase成为Apache顶级项目
– 现在很多公司二次开发出了很多发行版本，你也开始使用了。

HBase架构

region    英[ˈriːdʒən]美[ˈriːdʒən]=n.    (通常界限不明的)地区，区域，地方; 行政区;

从图中可以看出Hbase是由Client、Zookeeper、Master、HRegionServer、HDFS等几个组件组成，下面来介绍一下几个组件的相关功能：
（1）Client
Client包含了访问Hbase的接口，另外Client还维护了对应的cache来加速Hbase的访问，比如cache的.META.元数据的信息。
（2）Zookeeper
HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。具体工作如下：
通过Zoopkeeper来保证集群中只有1个master在运行，如果master异常，会通过竞争机制产生新的master提供服务
通过Zoopkeeper来监控RegionServer的状态，当RegionSevrer有异常的时候，通过回调的形式通知Master RegionServer上下线的信息
通过Zoopkeeper存储元数据的统一入口地址
（3）Hmaster
master节点的主要职责如下：
为RegionServer分配Region
维护整个集群的负载均衡
维护集群的元数据信息
发现失效的Region，并将失效的Region分配到正常的RegionServer上
当RegionSever失效的时候，协调对应Hlog的拆分
（4）HregionServer
HregionServer直接对接用户的读写请求，是真正的"干活"的节点。它的功能概括如下：
管理master为其分配的Region
处理来自客户端的读写请求
负责和底层HDFS的交互，存储数据到HDFS
负责Region变大以后的拆分
负责Storefile的合并工作
（5）HDFS
HDFS为Hbase提供最终的底层数据存储服务，同时为HBase提供高可用（Hlog存储在HDFS）的支持，具体功能概括如下：
提供元数据和表数据的底层分布式存储服务
数据多副本，保证的高可靠和高可用性

HBase中的角色

》》 HMaster
功能
1．监控RegionServer
2．处理RegionServer故障转移
3．处理元数据的变更
4．处理region的分配或转移
5．在空闲时间进行数据的负载均衡
6．通过Zookeeper发布自己的位置给客户端

》》 RegionServer
功能
1．负责存储HBase的实际数据
2．处理分配给它的Region
3．刷新缓存到HDFS
4．维护Hlog
5．执行压缩
6．负责处理Region分片

》》其他组件
1．Write-Ahead logs
HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
2．Region
Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。
3．Store
HFile存储在Store中，一个Store对应HBase表中的一个列族。
4．MemStore
顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。
5．HFile
这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以Hfile的形式存储在HDFS的。

HBase安装

》 Zookeeper正常部署
首先保证Zookeeper集群的正常部署，并启动之：

[dev1@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
[dev1@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
[dev1@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start

》 Hadoop正常部署
Hadoop集群的正常部署并启动：

[dev1@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[dev1@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

》 HBase的解压
解压HBase到指定目录：

[dev1@hadoop102 software]$ tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module

修改解压后的文件夹名称

 cd /opt/module
mv ./hbase-1.3.1/  hbase

》 HBase的配置文件
修改HBase对应的配置文件。
1）hbase-env.sh修改内容：

export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false

2）hbase-site.xml修改内容：

<configuration>
    <property>     
        <name>hbase.rootdir</name>     
        <value>hdfs://hadoop102:9000/hbase</value>   
    </property>

    <property>   
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

   <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
    <property>
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>

    <property>   
        <name>hbase.zookeeper.quorum</name>
         <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>

    <property>   
        <name>hbase.zookeeper.property.dataDir</name>
         <value>/opt/module/zookeeper-3.4.10/zkData</value>
    </property>
</configuration>

3）regionservers：

hadoop102
hadoop103
hadoop104

4）软连接hadoop配置文件到hbase：

[dev1@hadoop102 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
[dev1@hadoop102 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

》HBase远程发送到其他集群

[dev1@hadoop102 module]$ Mysync hbase/

HBase服务启动

1．启动方式1

[dev1@hadoop102 hbase]$ bin/hbase-daemon.sh start master
[dev1@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver
[dev1@hadoop103 hbase]$ bin/hbase-daemon.sh start regionserver
[dev1@hadoop104 hbase]$ bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。
修复提示：
a、同步时间服务
博客搜索
b、属性：hbase.master.maxclockskew设置更大的值

<property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
        <description>Time difference of regionserver from master</description>
 </property>

2．启动方式2 （推荐）

[dev1@hadoop102 hbase]$ bin/start-hbase.sh

对应的停止服务：

[dev1@hadoop102 hbase]$ bin/stop-hbase.sh

3. 查看HBase页面
   启动成功后，可以通过"host:port"的方式来访问HBase管理页面，例如：

http://hadoop102:16010