Hbase
1、HBase简介
HBase基于 Google的BigTable论文而来,是一个分布式海量列式存储非关系型数据库系统,可以提供 超大规模数据集的实时随机读写。
1.1、什么是列式存储?
先看常规的关系型数据库MySQL的存储机制:下面的空值字段浪费存储空间
id | name | age | salary | job |
---|---|---|---|---|
1 | 盖伦 | 22 | 无畏先锋军团长 | |
2 | 嘉文 | 皇子 | ||
3 | 赵信 | 80 | 10w |
如果使用列式存储
rowkey | 列族 | 列标识符 | 列值 |
---|---|---|---|
1 | UserInfo | name | 盖伦 |
1 | UserInfo | age | 22 |
1 | UserInfo | job | 无畏先锋军团长 |
2 | UserInfo | name | 嘉文 |
2 | UserInfo | job | 皇子 |
3 | UserInfo | name | 赵信 |
3 | UserInfo | age | 80 |
3 | UserInfo | salary | 10w |
对比:
1、mysql如果字段确定,不支持动态扩展列;列式存储则可以任意扩展
2、减少存储空间的浪费
1.2、HBase的特点
-
海量存储: 底层基于HDFS存储海量数据 ,HBase在HDFS之上提供了高并发的随机写和支持实时查询,这是HDFS不具备的。
-
**列式存储: ** HBase表的数据是基于列族进行存储的,一个列族包含若干列
-
**极易扩展: ** 底层依赖HDFS,当磁盘空间不足的时候,只需要动态增加DataNode服务节点就可以
-
高并发: 支持高并发的读写请求
-
稀疏: 稀疏主要是针对HBase列的灵活性,在列族中,你可以指定任意多的列,在列数据为空的情 况下,是不会占用存储空间的。
-
**数据的多版本: **HBase表中的数据可以有多个版本值,默认情况下是根据版本号去区分,版本号就 是插入数据的时间戳
-
数据类型单一: 所有的数据在HBase中是以字节数组进行存储
1.3、HBase的应用
- 交通方面:GPS信息,每天都有海量数据存储
- 金融方面:消费信息、贷款信息、信用卡还款信息
- 电商方面:交易信息、物流信息、游览信息
- 电信方面:通话信息
总结:HBase适合海量明细数据的存储,并且后期需要有很好的查询性能(单表超千万、上亿,且并发要求高)
2、HBase数据模型
HBase的数据也是以表的形式存储的
2.1、HBase逻辑结构
一个列族下可以任意添加列,不受任何限制
数据写到HBase的时候都会被记录一个时间戳,这个时间戳被我们当做一个版本。比如说,我们修改或者删除某一条的时候,本质上是往里边新增一条数据,记录的版本加一了而已。
2.2、HBase物理存储
2.3、HBase常见概念
概念 | 描述 |
---|---|
NameSpace | 命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表。HBase两个自带的命名空间,分别是hbase和default,hbase中存放的是HBase内置的表,default表是用户默认使用 的命名空间。一个表可以自由选择是否有命名空间,如果创建表的时候加上了命名空间后,这个表名字以:作为区分! |
Table | 类似于关系型数据库的表概念。不同的是,HBase定义表时只需要声明列族即可,数据属性,比如超时时间(TTL),压缩算法(COMPRESSION)等,都在列族的定义中 定义,不需要声明具体的列。 |
Row | **HBase表中的每行数据都由一个RowKey和多个Column(列)组成。**一个行包含了多个列,这些列通过列族来分类,行中的数据所属列族只能从该表所定义的列族中选取,不能定义这个表中不存在的列族,否则报错NoSuchColumnFamilyException。 |
RowKey | Rowkey由用户指定的一串不重复的字符串定义,是一行的唯一标识!数据是按照RowKey的字典顺序存储的,并且查询数据时只能根据RowKey进行检索,所以RowKey的 设计十分重要。如果使用了之前已经定义的RowKey,那么会将之前的数据更新掉! |
Column Family(列族) | 列族是多个列的集合。一个列族可以动态地灵活定义多个列。表的相关属性大部分都定义在列族上,**同一个表里的不同列族可以有完全不同的属性配置,但是同一个列族 内的所有列都会有相同的属性。**列族存在的意义是HBase会把相同列族的列尽量放在同一台机器上,所以说,如果想让某几个列被放到一起,你就给他们定义相同的列 族。 |
Column Qualifier(列) | Hbase中的列是可以随意定义的,一个行中的列不限名字、不限数量,只限定列族。因此列必须依赖于列族存在!列的名称前必须带着其所属的列族!例如info:name, info:age |
TimeStamp ( 时间戳 <=>版本) | 用于标识数据的不同版本(version)。时间戳默认由系统指定,也可以由用户显式指定。在读取单元格的数据时,版本号可以省略,如果不指定,Hbase默认会获取最后一个版本的数据返回! |
Cell(单元格) | 一个列中可以存储多个版本的数据。而每个版本就称为一个单元格(Cell)。 |
Region(表的分区) | Region由一个表的若干行组成!在Region中行的排序按照行键(rowkey)字典排序。Region不能跨RegionSever,且当数据量大的时候,HBase会拆分Region。 |
3、HBase整体架构
-
Client :客户端,它提供了访问HBase的接口,并且维护了对应的cache来加速HBase的访问。
-
Zookeeper
- 实现HMaster的高可用
- 存储HBase的元数据(meta表),无论是读还是写数据,都是去Zookeeper里边拿到meta元数据告诉给客户端去哪台机器读写数据
- 对HMaster和HRegionServer进行监控
-
HMaster(Master)
- 为HRegionServer分配Region ,维护整个集群的负载均衡
- 维护集群的元数据信息
- 发现失效的Region,并将失效的Region分配到正常的HRegionServer上
-
HRegionServer
- 负责管理Region
- 切分在运行过程中变大的Region
- 它是处理客户端的读写请求,负责与HDFS底层交互,是真正干活的节点。
-
Region
-
每个Region由多个Store构成
-
每个Store保存一个列族,表有几个列族,就有几个Store
-
每个Store由一个MemStore和多个StoreFile组成,MemStore是Store在内存中的内容,写到文件后就是StoreFile。StoreFile底层是以HFile的格式保存。
-
总结:client请求到Zookeeper,然后Zookeeper返回HRegionServer地址给client,client得到Zookeeper返回的地址去请求HRegionServer,HRegionServer读写数据后返回给client。
4、HBase集群安装部署
(1)、下载安装包
-
http://archive.apache.org/dist/hbase/1.3.1/
-
hbase-1.3.1-bin.tar.gz
(2)、规划安装目录
/opt/xyc/servers/
(3)、上传安装包到服务器
(4)、解压安装包到指定的规划目录
tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/xyc/servers
(5)、修改配置文件
- 需要把hadoop中的配置
core-site.xml
、hdfs-site.xml
拷贝到hbase安装目录下的conf文件夹中
ln -s /opt/xyc/servers/hadoop-2.9.2/etc/hadoop/core-site.xml /opt/xyc/servers/hbase-1.3.1/conf/core-site.xml
ln -s /opt/xyc/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /opt/xyc/servers/hbase-1.3.1/conf/hdfs-site.xml
-
修改conf目录下配置文件
-
修改
hbase-env.sh
#添加java环境变量 export JAVA_HOME=/opt/module/jdk1.8.0_231 #指定使用外部的zk集群 export HBASE_MANAGES_ZK=FALSE
-
修改 hbase-site.xml
<configuration> <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://linux121:9000/hbase</value> </property> <!-- 指定hbase是分布式的 --> <property> <name>hbase.cluster.distributed
-