简单介绍
1.1 HBase定义
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
1.2 HBase数据模型
逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个 map。
1.3 数据模型
1）Name Space
命名空间，类似于关系型数据库的DataBase概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是“hbase”和“default”，“hbase”中存放的是HBase内置的表，“default”表是用户默认使用的命名空间。
2）Region
类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。
3）Row
HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。
4）Column
HBase中的每个列都由Column Family(列簇)和Column Qualifier（列限定符）进行限定，例如info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。
5）Time Stamp
用于标识数据的不同版本，每条数据写入时，如果不指定时间戳，系统会自动为其加上，其值为写入HBase的时间。
6）Cell
由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。
cell中的数据是没有类型的，全部是字节码形式存储。
1.4架构图:
简单运用
2.1HBase安装部署
2.1.1 Zookeeper正常部署
首先保证Zookeeper集群的正常部署并启动
[shanxi@hadoop12 zookeeper-3.5.7]$ bin/zkServer.sh start
[shanxi@hadoop13 zookeeper-3.5.7]$ bin/zkServer.sh start
[shanxi@hadoop14 zookeeper-3.5.7]$ bin/zkServer.sh start
2.1.2 Hadoop正常部署
Hadoop集群的正常部署并启动
[shanxi@hadoop12 hadoop-3.1.3]$ sbin/start-dfs.sh
[shanxi@hadoop13 hadoop-3.1.3]$ sbin/start-yarn.sh
2.1.3 HBase的解压
1）解压HBase到指定目录：
[shanxi@hadoop12 software]$ tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module
[shanxi@hadoop12 software]$ mv /opt/module/hbase-2.0.5 /opt/module/hbase
2）配置环境变量
[shanxi@hadoop12 ~]$ sudo vim /etc/profile.d/my_env.sh
#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$ PATH:$ HBASE_HOME/bin
2.1.4 HBase的配置文件
修改HBase对应的配置文件。
1）hbase-env.sh修改内容：
export HBASE_MANAGES_ZK=false
2）hbase-site.xml修改内容：
hbase.rootdir
hdfs://hadoop12:8020/HBase
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop12,hadoop13,hadoop14</value>
</property>
3）regionservers：
hadoop12
hadoop13
hadoop14
2.1.5 HBase发送至其他机器
[shanxi@hadoop12 module]$ xsync hbase/
2.1.6 HBase服务的启动
1．启动方式
[shanxi@hadoop12 hbase]$ bin/hbase-daemon.sh start master
[shanxi@hadoop12 hbase]$ bin/hbase-daemon.sh start regionserver
如果集群节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。
修复提示：
a、同步时间服务
b、属性：hbase.master.maxclockskew设置更大的值
hbase.master.maxclockskew
180000
Time difference of regionserver from master
启动方式
[shanxi@hadoop12 hbase]$ bin/start-hbase.sh
对应的停止服务：
[shanxi@hadoop12 hbase]$ bin/stop-hbase.sh
2.1.7 查看HBase页面
启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：
http://hadoop12:16010
2.2 HBase Shell操作
2.2.1 基础操作
1）进入HBase客户端命令行
[shanxi@hadoop12 hbase]$ bin/hbase shell
2）查看帮助命令
hbase(main):001:0> help
2.2.2 DDL
Group name: namespace
Commands: alter_namespace, create_namespace, describe_namespace, drop_namespace, list_namespace, list_namespace_tables
Group name: ddl
Commands: alter, alter_async, alter_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, list_regions, locate_region, show_filters
1）创建所有的命名空间
hbase(main):002:0> create_namespace ‘bigdata’
2）查看所有的命名空间
hbase(main):003:0> list_namespace
3）删除命名空间
hbase(main):004:0> drop_namespace ‘bigdata’
注意：命名空间下没有表才可以删除
4）创建表
hbase(main):005:0> create ‘student’,‘info’ //在默认’default’命名空间下创建表
hbase(main):007:0> create ‘bigdata:student’,‘info’, ‘info2’ //在指定命名空间下创建表
5）查看所有的表
hbase(main):009:0> list
6）查看表的详情
hbase(main):012:0> describe ‘student’
7）修改表
（1）删除列族信息
hbase(main):011:0> alter ‘bigdata:student’,‘delete’=>‘info2’
（2）修改版本信息
hbase(main):022:0> alter ‘bigdata:student’,{NAME=>‘info1’,VERSIONS=>3}
8）删除表
hbase(main):019:0> disable ‘student’
hbase(main):020:0> drop ‘student’
提示：如果直接drop表，会报错：ERROR: Table student is enabled. Disable it first.
2.2.3 DML
Group name: dml
Commands: append, count, delete, deleteall, get, get_counter, get_splits, incr, put, scan, truncate, truncate_preserve
1）插入数据到表
hbase(main):003:0> put ‘student’,‘101’,‘info:sex’,‘male’
hbase(main):004:0> put ‘student’,‘101’,‘info:age’,‘58’
hbase(main):005:0> put ‘student’,‘102’,‘info:name’,‘liubei’
hbase(main):006:0> put ‘student’,‘102’,‘info:sex’,‘female’
hbase(main):007:0> put ‘student’,‘102’,‘info:age’,‘28’
2）Scan方式查看数据
（1）扫描全表
hbase(main):008:0> scan ‘student’
（2）限定开始位置扫描全表
hbase(main):010:0> scan ‘student’,{STARTROW => ‘101’}
（3）限定开始和结束位置扫描全表
hbase(main):009:0> scan ‘student’,{STARTROW => ‘101’, STOPROW => ‘101’}
（4）扫描全表数据(包含被标记删除或者应该被覆盖的数据)
hbase(main):037:0> scan ‘student’, {RAW => true, VERSIONS => 10}
3）Get方式查看数据
（1）指定RowKey查询
hbase(main):014:0> get ‘student’,‘101’
（2）指定RowKey+列簇查询
hbase(main):015:0> get ‘student’,‘101’,‘info’
（3）指定RowKey+列簇+列名查询
hbase(main):015:0> get ‘student’,‘101’,‘info:name’
（4）指定获取数据版本查询
hbase(main):022:0> get ‘student’,‘101’,{COLUMN=>‘info:name’,VERSIONS=>3}
4）统计表数据行数
hbase(main):021:0> count ‘student’
5）更新数据(实际上还是Put)
hbase(main):012:0> put ‘student’,‘101’,‘info:name’,‘Nick’
hbase(main):013:0> put ‘student’,‘101’,‘info:age’,‘100’
6）删除数据
（1）指定RowKey+列族+列名删除
hbase(main):025:0> delete ‘student’,‘101’,‘info:name’
（2）指定RowKey+列族删除
hbase(main):027:0> delete ‘student’,‘101’,‘info’
（3）指定RowKey删除
hbase(main):031:0> deleteall ‘student’,‘101’
注意：使用的是deleteall命令而不是delete命令
7）清空表数据
hbase(main):018:0> truncate ‘student’
进阶
3.1写流程:
1）Client首先访问Zookeeper，获取hbase:meta(元数据)表位于哪个RegionServer。
2）访问对应的RegionServer，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次直接访问。
3）与目标RegionServer进行通讯；
4）将数据顺序写入（追加）到WAL,有顺序的；
5）将数据写入对应的MemStore，数据会在MemStore进行排序；
6）向客户端发送ack；
7）等达到MemStore的刷写时机后(有一些条件)，将数据刷写到HFile。
3.2读流程:
1）Client首先访问Zookeeper，获取hbase:meta表位于哪个RegionServer。
2）访问对应的RegionServer，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次直接访问。
3）与目标RegionServer进行通讯；
4）分别在BlockCache（读缓存），MemStore中查询目标数据，如果BlockCache中未查到相应数据则扫描对应的HFile文件，HFile中扫描到的数据块（默认64K）写入BlockCache，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（timestamp）或者不同的类型（Put/Delete）。
5）将合并后的最终结果返回给客户端。
你的不理解,使我必须强大
扫一扫
180
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
