Hbase的学习之路

于 2023-05-10 11:04:33 发布
阅读量270 收藏 2
点赞数
文章标签： hbase 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yhy_only/article/details/130595876
版权

Hbase的学习之路

一、初识Hbase

简介

HBase是一个面向列式存储的分布式数据库。其底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。HBase良好的分布式架构设计为海量数据的快速存储，随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据灾容，是大数据领域中K-V 数据结构存储最常用的数据方案。

HBase特点
易扩展

​ 主要体现在两个方面，一基于运算能力的扩展，通过增加RegionServer节点的数量，提升Hbase上层的处理能力，另一个是基于存储能力的扩展(HDFS)，通过增加DataNode节点数量对存储层进行扩容，提升HBase的数据存储能能力。

海量存储

HBase作为开源的分布是K-V数据库，其主要作用是面向PB级别数据的实时入库和快速随机访问，这主要源于上述易扩展的特点，是得HBase通过扩展来存储海量的数据。

列式存储

Hbase是根据列族来存储数据，列族下面可以由非常多的列，列式存储的最大好处就是，其数据再表中是按照某列促成农户的，这样再查询只需要少数几个字段时，能大大减少读取的数据量。

高可靠性

WAL机制保证了数据写入时不会因集群异常而导致写入数据丢失，Replication机制保证了在集群出现严重的问题时，数据不会发生丢失或损坏，而且Hbase底层使用HDFS，HDFS本身也有备份

稀疏性

在HBase的列族中，可以指定任意多的列，为空的列不占存储空间，表可以设计的非常稀松

模块组成

HBase 可以将数据存储在本地文件系统，也可以存储在 HDFS 文件系统。在生产环境中，HBase 一般运行在 HDFS 上，以 HDFS 作为基础的存储设施。HBase 通过 HBase Client 提供的 Java API 来访问 HBase 数据库，以完成数据的写入和读取。HBase 集群主由HMaster、Region Server 和 ZooKeeper 组成。

HMaster

负责管理RegionServer,实现负载均衡

管理和分配Region，如在Region split时分配新的Region,在RegionServers退出时迁移其内的Region到其他RegionServer上

管理namespace和table的元数据

权限控制（ACL)

RegionServer

存储和管理本地Region

读写HDFS,管理Table中的数据

Client从HMaster中获取元数据，找到RowKey所在的RegionServer读取数据

ZooKeeper

存放整个HBase集群的元数据以及集群的状态信息

实现HMaster住从节点的fallower

HBases与传统关系数据库的对比：

1.数据类型 ：关系型数据库有丰富的数据类型和存储方式。HBase则使用简单的字符串

2.数据操作：关系型数据库包含基本操作和多表联查。HBase只有简单的基本操作

3.存储模式： 关系型数据库采用行式存储。 HBase采用列式存储

4.数据索引：关系型数据库针对不同的列构建多个索引。 HBase只有一个索引-行键。

5.数据维护：关系型数据库中更新数据时将新的数据覆盖旧的数据。而HBase则不会删除旧版本，而是直接生成新版本

6.可伸缩性：关系型数据库在行和列伸缩上都有一定的限制。HBase在行列上有具有一定的伸缩性

二、HBase数据模型

HBase的数据模型与BigTable十分相思。一个数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)一列或多列组成一个列族(Column Family),同一个列族中的列的数据在物理上都存储在同一个HFile中，这样基于列存储的数据结构由利于数据缓存和查询。HBase中的表是疏松地存储的，因此与用户可以动态地为数据定义各种不同的列。HBase中的数据按主键排序，同时，HBase会将表按主键划分为多个Region存储在不同RegionServer上，一完成数据的分布式存储和读取。

1.Column Family

Column Family 即列族，HBase 基于列划分数据的物理存储，一个列族可以包含包意多列。

一般同一类的列会放在一个列族中，每个列族都有一组存储属性：

  • 是否应该缓存在内存中；
  • 数据如何被压缩或行键如何编码等。
  • HBase 在创建表的时候就必须指定列族。

HBase的列族不是越多越好，官方荐一个表的列族数量最好小于或者等于3，过多的列族不利于 HBase 数据的管理和索引。

2.RowKey

RowKey的概念与关系型数据库中的主键相似，HBase 使用 RowKey 来唯一标识某行的数据。

访问 HBase 数据的方式有三种:

  • 基于 RowKey的单行查询；
  • 基于RowKey的范围查询；
  • 全表扫描查询。
3.Region

HBase 将表中的数据基于 RowKey 的不同范围划分到不同 Region 上，每个Region都负责一定范围的数据存储和访问。

每个表一开始只有一个 Region，随着数据不断插入表，Region 不断增大，当增大到一个阀值的时候，Region 就会等分成两个新的 Region。当table中的行不断增多，就会有越来越多的 Region。

另外，Region 是 Hbase 中分布式存储和负载均衡的最小单元，不同的 Region 可以分布在不同的 HRegion Server上。但一个Hregion是不会拆分到多个server上的。

这样即使有一个包括上百亿条数据的表，由于数据被划分到不同的 Region上，每个 Region 都可以独立地进行写入和查询，HBase 写查询时候可以于多 Region 分布式并发操作，因此访问速度也不会有太大的降低。

4.TimeStamp

TimeStamp 是实现 HBase 多版本的关键。在HBase 中，使用不同 TimeStamp 来标识相同RowKey对应的不同版本的数据。相同 RowKey的数据按照 TimeStamp 倒序排列。默认查询的是最新的版本，当然用户也可以指定 TimeStamp 的值来读取指定版本的数据。

三、列式存储应用在OLAP中

四、HBase的架构组成

HBase作为NoSQL的数据库代表，属于三驾马车之一，BiTable的对应实现。

HBase 的核心架构由五部分组成，HBase Client、HMaster、Region Server、ZooKeeper 以及 HDFS。它的架构组成如下图所示。

hbase架构

结构组成的详细介绍：

1.HBase Client

HBase Client 为用户提供了访问HBase的接口，可以通过元数据表来定位到目标数据的RegionServer，另外HBase Client 还维护了对应的cache来加速HBase的访问。

2.HMaser

HMaster是HBase集群的主节点，负责整个集群的管理工作，主要工作职责：

分配Region: 负责启动时候分配Region到具体的RegionServer;

负载均衡： 一方面负责将用户的数据均衡地缝补在各个RegionServer上，防止RegionServer数据倾斜过载。另一方面负责将用户的请求均衡地缝补在各个RegionServer上。

维护数据：发现失效的 Region，并将失效的 Region 分配到正常的 RegionServer 上，

并且在Region Sever 失效的时候，协调对应的HLog进行任务的拆分。

3.Region Server

Region Server 直接对接用户的读写请求，是真正的干活的节点，主要工作职责如下。

  • 管理 HMaster 为其分配的 Region；
  • 负责与底层的 HDFS 交互，存储数据到 HDFS；
  • 负责 Region 变大以后的拆分以及 StoreFile 的合并工作。

与HMaster协同：当某个RegionServer宕机之后，ZK通知Master进行失效备援。下线的RegionServer负责的Region暂时停止对外提供服务，Master将该该RS负责的Region转移到其他RS上。

一个Region Server 包含多个Region

regionserver

**Region: **每一个Region都有起始的RowKey和结束RowKey,代表了存储的Row的范围，保存这表中某段连续的数据。一开始每个表只有一个Region,随着数据量不断增加，当Region大小达到一个阈值时，将其切分成两个新的Region。当Region很多时，HM会将Region保存到其他RS上

**Store:**一个Region由多个Store组成，每个Strore都对应一个Column Family. Strore包含MemStrore和StoreFile

​ MemStrore:作为HBase的内存数据存储，数据的写操作会先写道MenStore中，当数据增长到一个阈值后，RS会启动 flasheatch 进程将MemStore中的数据写入StoreFile持久化存储，每次写入后都形成一个单独的StoreFile当客户端检索数据时，现在MemStore中查找，如果MemStrore中不存在，则会在StoreFile中继续查找。

​ StoreFile：MemStrore内存中的数据写到文件后就是StroreFile，StroreFile底层十一HFile的格式保存。

​ HBase以Store的大小来判断是否需要切分Region

**HFile：**HFile 和 StoreFile 是同一个文件，

只不过站在 HDFS 的角度称这个文件为HFile，站在HBase的角度就称这个文件为StoreFile。

HLog：负责记录着数据的操作日志，当HBase出现故障时可以进行日志重放、故障恢复。

例如，磁盘掉电导致 MemStore中的数据没有持久化存储到 StoreFile，这时就可以通过HLog日志重放来恢复数据。

4.ZooKeeper

HBase 通过 ZooKeeper 来完成选举 HMaster、监控 Region Server、维护元数据集群配置等工作，主要工作职责如下：

5.HDFS

HDFS为HBase提供底层数据存储服务，同时为HBase提供高可用的支持

HBase将HLog存储在HDFS上，当服务器发生异常宕机时，可以重放HLog来恢复数据。

五、HBase的写入流程

HBase 的写入流程

Region Server寻址：

​ 1.HBase Client访问ZooKeeper;

​ 2.获取写入 Region 所在的位置，即获取 hbase:meta 表位于哪个 Region Server；

​ 3.访问对应的 Region Server；
​ 4.获取 hbase:meta 表，并查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 Region 信息以及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问；

写 Hlog

  1. HBase Client 向 Region Server 发送写 Hlog 请求；
  2. Region Server 会通过顺序写入磁盘的方式，将 Hlog 存储在 HDFS 上；

写 MemStore 并返回结果
HBase Client 向 Region Server 发送写 MemStore 请求；
只有当写 Hlog 和写 MemStore 的请求都成功完成之后，并将反馈给 HBase Client，这时对于整个 HBase Client 写入流程完成。
MemStore 刷盘
HBase 会根据 MemStore 配置的刷盘策略定时将数据刷新到 StoreFile 中，完成数据持久化存储。

六、HBase的读流程

HBase 的读流程

Region Server 寻址
HBase Client 请求 ZooKeeper 获取元数据表所在的 Region Server的地址。

Region 寻址
HBase Client 请求 RegionServer 获取需要访问的元数据，查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以 及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。

数据读取
HBase Client 请求数据所在的 Region Server，获取所需要的数据。 Region 首先在 MemStore 中查找，若命中则返回；如果在MemStore 中找不到，则通过 BloomFilter 判断数据是否存在；如果存在，则在:StoreFile 中扫描并将结果返回客户端。

七、HBase 的数据删除

HBase 的数据删除操作并不会立即将数据从磁盘上删除，因为 HBase 的数据通常被保存在 HDFS 中，而 HDFS 只允许新增或者追加数据文件，所以删除操作主要对要被删除的数据进行标记。

当执行删除操作时，HBase 新插入一条相同的 Key-Value 数据，但是
keyType=Delete，这便意味着数据被删除了，直到发生 Major_compaction 操作，数据才会真正地被从磁盘上删除。

HBase这种基于标记删除的方式是按顺序写磁盘的的，因此很容易实现海量数据的快速删除，有效避免了在海量数据中查找数据、执行删除及重建索引等复杂的流程。

八、hbase shell

基本操作

进入 hbase shell

查看集群状态 status

查看版本号 version

查看登录用户 whoami

**操作表 **

查看表空间 list_namespace

创建表空间

create_namespace 'lihaozhe',{"author"=>"lihaozhe", "create_time"=>"2023-05-07 11:36:00"}

描述表空间

list_namespace_tables 'lihaozhe'

查看某表空间下有哪些表

list_namespace_tables 'lihaozhe'

删除表空间

drop_namespace 'lihaozhe'

指定命名空间创建表并指定列族

create 'lihaozhe:person', {NAME => 'info', VERSIONS => 5} , {NAME => 'msg', VERSIONS => 5}

禁用表

disable 'lihaozhe:user'

验证表是否被禁用

is_disabled 'lihaozhe:user'

启用表

enable 'lihaozhe:user'

插入数据到表

put 'lihaozhe:person','1001','info:name','user1001'
put 'lihaozhe:person','1001','info:gender',1
put 'lihaozhe:person','1001','msg:slogan','hello world'

put 'lihaozhe:person','1002','info:name','user1002'
put 'lihaozhe:person','1002','info:gender',0
put 'lihaozhe:person','1002','msg:slogan','hello'

put 'lihaozhe:person','1003','info:name','user1003'
put 'lihaozhe:person','1003','info:gender',1
put 'lihaozhe:person','1003','msg:slogan','hi'

查询

扫描全表中的数据

scan 'lihaozhe:person'

按照指定 RowKey 查询

get 'lihaozhe:person', '1001'

查询某 RowKey 下某列簇的值

get 'lihaozhe:person', '1001' , 'info'

查询表中某行+某一列簇+某一列的值

get 'lihaozhe:person', '1001' , 'info:name'

更新指定字段的数据

put 'lihaozhe:person','1001','info:gender',0

统计数据

count 'lihaozhe:person'

删除指定数据

delete 'lihaozhe:person','1001','msg:slogan'

删除某RowKey下所有数据

deleteall 'lihaozhe:person','1001'

清空表

truncate 'lihaozhe:person'
yhy_only
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HBase学习之路——简单命令操作介绍
qq_38586378的博客
03-04 268
前言 在前面几篇博客中，已经简单介绍了HBase的历史和概念、HBase单机/完全分布式安装、HBase底层机制等，这篇博客主要是介绍HBase中的几个简单命令~ 在此给出HBase相关博客，以供学习参考，欢迎校正，感谢~ HBase简单核心思想了解：https://blog.csdn.net/qq_38586378/article/details/81255107 HBase在Windo...
HBase学习之路——HBase Windows环境单机安装
qq_38586378的博客
07-24 2919
一、HBase简介 HBase是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统。 HBase是Apache的Hadoop项目的子项目，HBase不同与一般的关系数据库，它适合于结构化数据存储的数据库，且HBase基于列而非基于行的模式。 HBase——Hadoop Database，分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 ...
【Hadoop】HBase框架学习之路
_朝和
12-30 1108
本文从HBase的设计背景、组件、流程、机制、实操等方面对HBase进行较为详细地分析，希望能够帮助大家更好地学习HBase
HBase学习之路 （七）HBase 原理
weixin_33806914的博客
04-02 119
系统架构 错误图解   　　这张图是有一个错误点：应该是每一个 RegionServer 就只有一个 HLog，而不是一个 Region 有一个 HLog。 正确图解 　　从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、...
Hadoop家族学习路线图
fens的博客
09-06 409
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, ...
好程序员大数据学习路线分享Hbase指令学习
qq_35970166的博客
08-16 189
好程序员大数据学习路线分享Hbase指令学习 启动： 1、启动zk zkServer.sh start 2、启动hdfs start-dfs.sh 3、启动hbase服务 start-hbase.sh （启动报错的话要kill QuorumPeerMain的进程，在重新启动） 4启动客户端： hbase shell 时间必须同步，不然也会报错 ...
HBase学习之路 （二）HBase基础介绍
potter
03-30 349
目录产生背景HBase简介关系型数据库 和 非关系型数据库的典型代表HBase 这个 NoSQL 数据库的要点结构化、半结构化和非结构化HBase 中的表特点 HBase表结构逻辑视图 名词概念正文：产生背景自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分布式文件系统...
HBase学习之路——HBase 常用API汇总
qq_38586378的博客
07-07 4175
前言 今天刚刚过完HBase入门阶段，本来应该周内搞完的，但中途自己的电脑配置太低了以至于虚拟机开个IDEA都卡到爆...好在室友的电脑可用，比预期慢了三天左右完成入门，但学的还算扎实，现就一些常用的程序搞个总结以供以后参考使用。 HBase数据库常用代码与HBase API 一、IDEA连接HBase数据库 1. project配置：IDEA创建mavenproject，...
HBase学习之路 MapReduce操作Hbase
lhyxcxy的博客
01-27 172
其他hbase之java操作请看 https://www.cnblogs.com/zhaobingqing/p/8269055.html，https://www.cnblogs.com/zhaobingqing/p/8269055.html，https://www.cnblogs.com/xing901022/p/7113166.html MapReduce从HDFS读取数据存储到HBase中...
Hbase深入学习(一)　什么是hbase
08-26 2249
什么是hbase
HBase学习之路——HBase简单核心思想了解
qq_38586378的博客
07-27 393
一、核心思想 1.1 前提 MapReduce编程框架 GFS文件系统 BigTable存储系统 1.2 核心 BigTable（Google） Apache及Hadoop开源社区的支撑 多家互联网公司的应用实践 目前HBase已成功应用与互联网服务领域和传统行业的众多在线式数据分析处理系统中，可随机处理读写的系统 1.3 技术范围 ...
HBase学习之路-全文链接
dy2017的博客
08-26 142
https://www.cnblogs.com/qingyunzong/p/8665698.html#_label0 HBase学习之路 （一）HBase基础介绍 https://www.cnblogs.com/qingyunzong/p/8668880.html HBase学习之路 （二）HBase集群安装 https://www.cnblogs.com/qingyunzong/p/8671153.html ...
HBase-概述
weixin_30596735的博客
10-06 690
一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。 一、HBase 逻辑结构 二、HBase 物理存储结构 三、数据模型 1）Name Space ...
Hbase深入学习(二) 安装hbase
weixin_33851604的博客
01-08 118
Hbase深入学习(二) 安装hbase This guidedescribes setup of a standalone hbase instance that uses the local filesystem. Itleads you through creating a table, inserting rows via the hbase shell, andthen cleanin...
Hbase深入学习
~衫~的博客
11-18 311
Memstore&StoreFile client写入->存入MemStore,一直到MemStore满->flush成为一个StoreFile,直到增长到一定的阀值->compact合并操作->将多个storefile合并成一个storefile,同时进行版本合并和数据的删除->当storefile compact后,逐步形成越来越大的storefile->单个storefile大小
hbase的深入学习（一）
weixin_43319279的博客
05-12 425
hbase是大数据领域内提供数据的随机存储与随机访问的nomysql数据库。提供实时的数据访问（HBase 为了解决海量数据的扩展性，支持简单的增加节点来实现线性扩展，从而在集群上管理海量的非结构化或半结构化的稀疏数据。HBase 仅能通过主键（raw key）或主键的 range 检索数据，支持单行事务。）是一个分布式的，可扩展的数据库，是以key-value来进行列式存储的，通过rowkay，...
Hbase架构深入学习
龙飞的博客
07-19 1万+
Hbase架构深入学习 Hbase ​ Apache HBase建立在HDFS之上的分布式、基于列存储的非关系型数据库；具有可靠、稳定、自动容错、多版本等特性；HBase实际上是Google BigTable项目的开源实现，它适合海量大规模（数十亿行、数百万列）的结构化数据存储；当需要随机、实时读写访问大数据时，使用HBase； 架构 每个服务详解： 在整个Hbase架构中，采用的是Master/Slave架构，其组成部分包括Zookeeper集群，HMaster节点，HRegionServer节点，
HBase 访问接口
程序员学习圈
09-17 4023
    • HBase 支持很多种访问，访问HBase的常见接口如下。     • Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据。     • HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。     • Thrift Gateway，利用Thrift序列化技术，支持C++...
好程序员大数据学习路线Hbase总结
qq_35970166的博客
08-13 159
好程序员大数据学习路线Hbase总结，为什么有hbase 　　随着数据的逐渐增大，传统的关系型数据库无法满足对数据的查询和存储，而hive不是数据库，只是数据仓库，虽然能够满足简单的存储要求，但是始终无法满足对非结构化和半结构化的数据的存储和查询 2hbase是什么 　　Hbase是阿帕奇旗下的一款开源的，多版本的，可扩展的非关系型数据库。 　　他是基于谷歌的bigtable的基础上...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值