大数据随笔（六）：分布式数据库HBase

最新推荐文章于 2024-07-22 14:10:58 发布

if_want

最新推荐文章于 2024-07-22 14:10:58 发布

阅读量284

点赞数

分类专栏：大数据文章标签：大数据

本文链接：https://blog.csdn.net/qq_34965116/article/details/104977803

版权

7 篇文章 0 订阅

订阅专栏

HBase是一种分布式数据库，可以用来存储结构化和半结构化的松散数据。通过水平扩展，可以让数千台服务器去存储海量数据。

用HBase的原因：HDFS+MapReduce是面向离线的数据处理，无法满足实时要求；传统关系型数据库扩展有瓶颈，现在数据结构经常变化，关系型数据库往往模式确定后就很难变更了。

HBase的访问接口：
在这里插入图片描述

在这里插入图片描述
列族可以动态扩展。更新操作会保留历史版本。存储以列族为基本单元，是面向列的存储，不同列族存储在不同的文件里。

上图可见，不同列族分开存储。

面向列的存储方便分析，面向行的存储方便事务操作。

功能组件：
在这里插入图片描述
客户端不依赖master去取数据，而是直接去region服务器取。

1个region一般1到2个G，同一个region不会拆分到不同的region服务器上。

root表只有一个region。

为了加速寻址，客户端会缓存位置信息。

整体架构
在这里插入图片描述

Master：

Region：

写入数据：先写日志，再写到缓存中去。
在这里插入图片描述
读数据：先去缓存里找，再去StoreFile里找。

缓存的刷新：

系统周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中，清空缓存，并在HLog里面写入一个标记
每次刷写都生成一个新的StoreFile文件，因此每个Store包含多个StoreFile文件
每个region服务器都有一个自己的HLog文件，每次启动都检查该文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作，如果发现更新，则先写入MemStore，再刷写写到StoreFile，最后删除旧的HLog文件，开始为用户提供服务。

StoreFile的合并与分裂：
StoreFile数目达到阈值合并，StoreFile大小超过阈值分裂。
在这里插入图片描述

关注

专栏目录