Hbase概述以及快速入门

一 Hbase简介

1.1 Hbase定义

Hbase是一种分布式、可扩展、支持海量数据存储的nosql数据库

1.2 hbase数据模型

逻辑上，Hbase的数据模型与关系型数据库很类似，数据存储在一张表中，有行有列。但从底层物理存储结构（k-v）来看，Hbase更像是一个多维度的map。

1.2.1 Hbase逻辑结构

1.2.2 Hbase物理存储结构

1.2.3 数据模型

1）Name Space

命名空间，类似于关系型数据库的DataBase概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是“hbase”和“default”，“hbase”中存放的是HBase内置的表，“default”表是用户默认使用的命名空间。

2）Region

类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。

3）Row

HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

4）Column

HBase中的每个列都由**Column Family(列族)和Column Qualifier（列限定符）**进行限定，例如info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

5）Time Stamp

用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入HBase的时间。

6）Cell

由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。

cell中的数据是没有类型的，全部是字节码形式存储。

1.3 Hbase架构

二 Hbase快速入门

2.1 Hbase安装部署

1）下载Hbasetar包解压到指定路径

2）配置环境变量

3）修改Hbase对应的配置文件

​ hbase-env.sh修改内容

export HBASE_MANAGES_ZK=false

​ hbase-site.xml

<property>
		<name>hbase.rootdir</name>
		<value>hdfs://hadoop102:8020/HBase</value>
	</property>

	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>

	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>hadoop102,hadoop103,hadoop104</value>
	</property>

​ regionservers

ip1
ip2
ip3

2.1.1 查看Hbase服务启动及页面

start-hbase.sh
stop-hbase.sh

​ 提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。

①同步时间服务

②属性：hbase.master.maxclockskew设置更大的值

<property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
        <description>Time difference of regionserver from master</description>
</property>

2.1.2 Hmaster的高启用

一个Hmaster如果挂掉可能会导致整个hbase挂掉，此时配置高可用就是可以在主Hmaster挂掉之后，备用Hmaster会快速补上

在hbase的解压文件下的conf目录下新建一个问价backup-master（名字必须一样不然不能识别），在里面添加需要的备用Hmaster即可

2.2Hbase shell操作

1、创建命名空间
create_namespace 命名空间名称
2、创建表
create 表名,列簇1名,列簇2名,.
3、修改表结构
新增列簇:alter 表名,{NAME=>列簇名,VERSIONS=>4}
修改列簇；alter 表名,NAME=>待修改的列簇名,VERSION=>版本号
4、插入数据
put ‘命名空间:表名’,‘rowkey’,‘列簇名:列限定符’,‘值’
5、修改数据与插入一样
6、删除数据
1、删除cell数据: delete ‘命名空间:表名’,‘rowkey’,‘列簇名:列限定符’
2、删除正行: deleteall ‘命名空间:表名’,‘rowkey’
7、删除表：
1、禁用表； disable ‘命名空间:表名’
2、删除: drop ‘命名空间:表名’
8、清空表数据
truncate ‘命名空间:表名’
9、统计表行数
count ‘命名空间:表名’
10、删除命名空间
drop_namespace ‘命名空间’ [命名空间中没有表才能删除]
11、查询数据
1、根据rowkey查询：
1、查询正行：get ‘命名空间:表名’,‘rowkey’
2、查询某个列簇的数据: get ‘命名空间:表名’,‘rowkey’,‘列簇名’
3、查询某个列: get ‘命名空间:表名’,‘rowkey’,‘列簇名:列限定符’
2、扫描数据
1、查询整表数据:scan ‘命名空间:表名’
2、查询列簇的数据： scan ‘命名空间:表名’,{COLUMNS=>‘列簇名’}
2、查询列的数据： scan ‘命名空间:表名’,{COLUMNS=>‘列簇名:列限定符’}
12、查询所有表： list
13、查询所有命名空间: list_namespace
14、查询表结构信息；describe ‘命名空间:表名’