Hbase数据结构和体系架构

最新推荐文章于 2023-09-25 18:52:28 发布

renaissance_joker

最新推荐文章于 2023-09-25 18:52:28 发布

阅读量3k

点赞数 1

分类专栏： HBase 文章标签： hbase 数据库

本文链接：https://blog.csdn.net/renaissance_joker/article/details/60884799

版权

1 篇文章 0 订阅

订阅专栏

优点:1.数据存储在一起。2.INSERT/UPDATE数据较容易。
缺点:1.选择操作（select）时，即使是几行所有数据也要被读取

优点：1.查询时只有涉及的列才会被读取。2.投影很高效。3.任何列都会可以作为索引。
缺点：INSERT/UPDATE比较麻烦。

这里写图片描述

决定一行数据，注意:它的存储是按照字典顺序进行排序的。ROW_KEY只能存储64k的字节数据。

HBase表中每个列都必须属于某个列族，列族必须作为表模式定义的一部分预先给出（有点像关系型数据库中的列名，定义完一般情况下就不会再去修改）eg:create ‘tablename’,’family column列族’;
列名以列族作为前缀，每个列族都可以有多个列成员，eg:cource:math,cource:english。新的列族成员（也就是列）可以随后按需，动态加入。
权限控制，存储以及调优都是在列族层进行。
Hbase把同一列族里面的数据存储在同一目录下，由几个文件保存。

由行和列的坐标交叉决定；
单元格是有版本额；
单元格的内容：由{rowkey,column(由family列族 +qualify列),version}唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存储。

HLog文件就是一个普通的Hadoop Sequence File，Sequence File的Key是HLogKey对象，HLogKey中记录了写入信息的归属信息，除了table和region名字之外，同时还包括sequence number和timestamp，timestamp是写入时间，sequence number的初始值为0，或者是最近一次存入文件系统中的sequence number。
HLog Sequence File的value是HBase的Key Value对象，即对应HFile中的KeyValue。

Hbase体系架构

包含访问HBase的接口并维护cache来加快对HBase的访问。

为Region Server分配region。
负责RegionServer的负载均衡（当一个 RegionServer有太多的Region,HMaster将RegionServer中的一部分HRegion移到其他的RegionServer上达到负载均衡）。
发现失效的RegionServer并重新分配其上的Region。
管理用户对table的增删改操作。

RegionServer维护Region，处理对这些Region的IO请求。（对数据的读写，首先是Client通过Zookeeper和HMaster获取RegionServer中Region的信息，然后Client直接找到RegionServer,RegionServer对Region进行操作）
RegionServer负责切分在运行过程中变得过大的region（切分Region）。

HBase自动把表水平划分为多个Region，每个Region会保存一个表里面某段连续的数据；每个表一开始只有一个Region,随着数据不断插入表region不断增大，当达到一个阀值的时候，region就会等分产生两个新的region（这个操作会由RegionServer完成）。
当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个RegionServer上。

一个Region由多个Store组成，一个Store对应一个列族。
Store包括位于内存中的MemStore和位于磁盘的StoreFile。当进行写操作时，首先要写入内存中的MemStore,当MemStore中的数据达到某个阀值，RegionServer会启动FlashCache进程写入StoreFile，每次写入形成单独的一个StoreFile。（MemStore有点像缓存，一次写入一次写入磁盘太过频繁，将写入缓存，当量达到一定程度，一起写入）
当StoreFile文件的数量增长到一定阀值后，RegionServer会进行合并，在合并过程中会进行版本合并和删除，形成更大的StoreFile。
当一个region所有StoreFile的大小和超过一定阀值后，会把当前的Region分割为两个（分割是RegionServer完成），并由HMaster分配到相应的RegionServer上，实现负载均衡。
当Client检索数据时，先在MemStore找，找不到再找StoreFile。

关注