HBase简介
(1)HBase的定义
Hbase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
(2)HBase数据模型
逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但是从HBase的底层物理存储结构来看,HBase更像是一个multi-dimensional map(多维地图/多维映射)。
(3)数据模型
1)HBase的数据模型由namespace、table等组成…
namespace:
命名空间,类似于关系型数据库中database的概念。每个命名空间下有多个表。HBase自带俩个命名空间,分别是hbase和default。hbase中存放的是HBase内置的表,default表是用户默认使用的命名空间。如果用户直接创建表,则该表存储与default中。
2)Table:
类似于关系数据库中table的概念,与之不同的是,HBase定义表时只需声明列族即可,不需要声明具体的列。和关系型数据库相比,HBase能够轻松应对字段变更的场景。
3)Row:
HBase表中的每行数据都由一个RowKey和多个Column组成,数据是按照RowKey的字典顺序存储的,并且查询数据只能通过RowKey进行检索。
4)Column:
HBase中每个列都有ColumnFamily(列族)和ColumnQualifier(列限定符)进行限定,例如:msg:name,info:gender。建表时,只需指明列族,而限定列符无需提前定义。
5)timeStamp
用户标识数据的不同版本(version),每条数据写入时,系统会自动为其加上该字段,其值为HBase写入的时间。
6)Cell
由{rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。cell中的数据全部是字节码形式存贮。
HBase安装部署
1、首先保证zookeeper集群的正常并启动
[xxx@hadoop102 zookeeper]$zk.sh start
(我在虚拟机中编写了zookeeper的启动脚本,没有编写脚本的需在zookeeper的bin目录启动zkServer.sh start命令)。
2、启动hadoop
[xxx@hadoop102 hadoop]$myhadoop.sh start
(同样我也编写了hadoop的启动脚本,没有编写脚本的需在hadoop的sbin目录启动start-dfs.sh和start-yarn.sh命令)。
3、解压HBase
解压HBase的安装包到指定目录
[xxx@hadoop102 software]$tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module
4、配置环境变量并source
[xxx@hadoop102 software]$sudo vim /etc/profile.d/my_env.sh
#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin
[xxx@hadoop102 software]$source /etc/profile
5、修改HBase的配置文件
1)hbase-env.sh修改内容:
[xxx@hadoop102 software]$vim hbase-env.sh
export HBASE_MANAGES_ZK=false
2)hbase-site.xml修改内容:
[xxx@hadoop102 software]$vim hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop102:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop102,hadoop103,hadoop104</value>
</property>
</configuration>
3)修改regionservers:
[xxx@hadoop102 software]$vim regionservers
hadoop102
hadoop103
hadoop104
6、分发集群
[xxx@hadoop102 software]$xsync hbase
7、启动HBase
Hbase的启动分为单点启动和群启,建议使用群启这里只写群启命令
[xxx@hadoop102 hbase]$ bin/start-hbase.sh
8、查看HBase页面
启动成功后,登录http://hadoop102:16010 查看HBase的状态和更多信息
9、高可用(选做)
在HBase中HMaster负责监控HRegionServer的生命周期,均衡RegionServer的负载,如果HMaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。
1)关闭HBase集群(如果没有开启则跳过此步骤)
[xxx@hadoop102 hbase]$ bin/stop-hbase.sh
2)在conf目录下创建backup-masters文件
[xxx@hadoop102 hbase]$ touch conf/backup-masters
3)在backup-masters文件中配置高可用HMaster节点
[xxx@hadoop102 hbase]$ echo hadoop103 > conf/backup-masters
4)将整个conf目录scp到其他节点
[atguigu@hadoop102 hbase]$ xsync conf
5)重启hbase,打开页面测试查看
http://hadooo102:16010