大数据HBase（十三）：HBase读取和存储数据的流程

已于 2022-10-05 00:19:27 修改
阅读量2.3k 收藏 46
点赞数 33
分类专栏： 大数据入门核心技术 # HBase 文章标签： HBase读取和存储数据的流程 HBase读取数据流程 HBase写入数据流程 HBase读取和写入数据流程
于 2021-07-22 07:40:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/118990044
版权
大数据入门核心技术 同时被 2 个专栏收录
264 篇文章 314 订阅 ¥49.90 ¥99.00
订阅专栏
HBase
19 篇文章 39 订阅
订阅专栏
本文详细介绍了HBase的读取和存储数据流程。在读取数据时，客户端首先通过Zookeeper获取meta表信息，然后并行连接regionServer获取数据。存储数据时，数据先写入Hlog和memStore，当达到阈值后，数据会被刷新到HDFS形成storeFile，进一步合并和分裂以优化存储。
摘要由CSDN通过智能技术生成

文章目录

HBase读取和存储数据的流程

一、HBase读取数据的流程

二、HBase存储数据的流程

客户端的同步流程: 

异步服务器端执行过程:

HBase读取和存储数据的流程

一、HBase读取数据的流程

1、由客户端发起读取数据的请求, 首先先连接 zookeeper , 从zookeeper获取hbase:meta表被哪个regionServer所管理meta表中主要记录了 hbase中各个表有那些region,以及每个region被哪个regionServer所管理hbase中非常特殊的元数据存储表, 此表只会有一个region


2、连接meta对应的regionServer, 从meta中获取要查询数据的在那些region中, 并将其对应regionServer地址返回给客户端

3、开始并行的连接这些regionServer, 从这些regionServer中获取数据，先从 memStore  --> blockCache ---> storeFile  ---> 大的Hfile


4、各个regionserver将读取到数据返回给client , client根据需要过滤出需要的

了解本专栏 订阅专栏 解锁全文
Lansonli
关注
专栏目录
订阅专栏
Hbase数据存储图解与数据检索流程
sun_shang的博客
09-17 5238
Hbase数据存储图解与流程   一、Hbase数据存储图解   二、hbase表数据的检索流程图（读和写的流程） 1、hbase在Hadoop集群中的物理架构   由图中可以看出，存储模块主要包括了ZooKeeper集群、HMaster、HRegionServer。 ZooKeeper：          Hbase是强依赖于ZooKeeper，我们读或写一个表的数据，都会
HBase存储和读取流程详解
五道口
09-06 2141
本文详细的讲解了HBase存储数据和读取数据的全过程，以及HBase中各个存储结构是怎样协作工作，完成存取流程的。全面解析HBase中数据的存储过程，以及数据的查询解析过程，帮你从底层了解HBase内部的工作原理和工作流程。
大数据——HBase原理
最新发布
庄小焱
07-27 1326
HBase 是一个开源的、非关系型的分布式数据库系统，主要用于存储海量的结构化和半结构化数据。它是基于谷歌的 Bigtable 论文实现的，运行在 Hadoop 分布式文件系统（HDFS）之上，并且可以与 Hadoop 生态系统的其他组件无缝集成。 HBase 的设计目标是提供高可扩展性、实时读写和随机访问能力，这使其特别适合于需要快速处理和查询大数据集的应用场景。它采用行键（Row Key）作为主键，并使用列族（Column Family）来组织数据，数据在物理上按照行键的顺序存储，支持范围查询。
【HBase高级】1.重要工作机制（1）——读数据流程、数据存储流程
CSDNGuoYuying的博客
01-31 582
In-memory合并是HBase 2.0之后添加的。它与默认的MemStore的区别：实现了在内存中进行compaction（合并）。在CompactingMemStore中，数据是以段（Segment）为单位存储数据的。MemStore包含了多个segment。
Hbase数据内部的存储过程
寒夜二十五
08-27 745
原文地址:http://bigdata.51cto.com/art/201907/600575.htm WAL：预写日志(Write Ahead Log)。当操作到达Region的时候，HBase先把数据写到WAL中，再把数据写到MemStore中，等数据达到阈值时才会被刷写(flush)到最终存储的HFile中。WAL是一个保险机制，这样在Region的机器宕机时，由于WAL的数据是存储在HD...
Hbase写数据，存数据，读数据的详细过程
apple01010105的博客
03-15 299
Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> ...
【大数据】 Hbase入门：安装和查看shell命令【学习笔记】
weixin_46703850的博客
04-02 3015
【大数据】 Hbase的安装【学习笔记】
大数据数据库之HBase：集群安装部署
qq_34577182的博客
03-30 792
文章目录前言1. HBase集群安装部署1.1 准备安装包1.2 修改HBase配置文件1.2.1 hbase-env.sh1.2.2 hbase-site.xml1.2.3 regionservers1.2.4 back-masters1.3 分发安装包1.4 创建软连接1.5 添加HBase环境变量1.6 HBase的启动与停止1.7 访问WEB页面1.8 停止HBase集群总结 前言 Hive的学习告一段落，接下来开始了解大数据主流NoSql数据库HBase，本文主要讲解HBase集群的安装部署，为
大数据实验三-HBase编程实践
04-03
- **实时读写**：HBase支持快速的数据读取和写入操作，这对于需要实时响应的应用场景非常有用。 #### 二、HBase的Shell命令 HBase的Shell命令是进行表管理、数据插入、查询等操作的一种简单方式。以下是一些常用...
HBase Procedure V2介绍
08-13
主要介绍一下Procedure V2的设计和结构，以及为什么用Procedure V2能比较容易实现出正确的AssignmentManager。最后介绍一下最近在2.1分支上对一些Procedure实现修正和改进。
HBase-存储
m0_64986686的博客
04-03 2216
USE aaa; #创建存储过程 DELIMITER $ CREATE PROCEDURE testa () BEGIN SELECT * FROM student; SELECT * FROM cj; END $ DELIMITER ; #调用存储过程 CALL testa(); #创建存储过程 DELIMITER $ CREATE PROCEDURE test2() BEGIN #声明变量类型 DECLARE un VARCHAR(32) ...
HBase数据库是怎样存储数据的？
zy1992As的博客
02-16 1817
4.MemStore中存储的是用户写入的数据，一旦MemStore存储达到阈值时，里面存储的数据就会被刷新到新生成的StoreFile中(底层是HFile)，该文件是以HFile的格式存储到HDFS上，具体如图4所示。2.每个Region存储的数据是有限的，如果当Region增大到一个阀值(128)时，会被等分切成两个新的Region，切分方式如图2所示。1.HBase表的数据按照行键RowKey的字典序进行排列，并且切分多个HRegion存储，存储方式如图1所示。​ 图1 Region在行方向上的存储。
HBase工作流程及存储结构
程研板的博客
02-05 602
所用的版本：hbase-1.2.0-cdh5.15.1 目录一.meta表二.HBase工作流程1.读的流程2.写的流程三.物理存储结构四.参考文章 一.meta表 zookeeper记录了保存meta表的机器是hadoop000： [zk: localhost:2181(CONNECTED) 4] get /hbase/meta-region-server �regionserver:60020��!���*�PBUF hadoop000�������. cZxid = 0x15000007a.
HBase存储原理探究
nanphonfy(南风)
10-19 736
我们知道RDBMS底层使用B树、B+树的存储结构，hbase使用LSM树(log-structured merge tree)，对于单表存储容量，hbase可以依托其平滑的扩展性，满足RDBMS的瓶颈。他们的设计思想的差距体现在哪里呢？本文将对其分析：1.数据结构 B+树 保持数据稳定有序，自底向上插入(与二叉树相反)，通过最大化每个内部节点的子节点数目来减少树的高度，不经常发生平衡操作（eg.
HBase之读取数据流程
热门推荐
每天进步一点点
07-01 1万+
说明 本文参考自 HBase数据读取流程解析 hbase（二）hfile结构 目录 说明 1.HBase读取数据流程 2.疑问 2.1上述（10）中，需要对满足条件的KeyValue进行从小到大排序合并构建最小堆。 ​​2.1.1为什么Scanner需要有小到大排序？ 2.1.2HBase中KeyValue是什么样的结构？ 2.1.3不同KeyValue之间如何进行大小比较......
Hbase 读取流程概念详解、hbase基本操作、大批量的插入与读取、带条件的读取实现
kevin
07-02 1816
  声明:以下知识全部来源于转载，可以通过网址查看原创。   HBase——数据读写寻址    hbaseclient->zookeeper->ROOT表-META表（包含所有的用户空间region信息(列表)，以及RegionServer的服务器地址。等 第一次读过来然后缓存到本地)->region->先从MemStore找数据，如果没有，再到StoreFile...
Hbase存储方式
qq_41848129的博客
08-19 4139
Hbase概念 HBase是一个分布式的，面向列的数据库它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 　　Hbase中的表一般有这样的...
HBase 架构详解及读写流程原理剖析
AI天才研究院
11-03 8844
1、HBase 简介HBase是 BigTable (架构如下图所示）的开源“山寨”版本，建立在hdfs（对应GFS）之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase底层依赖于HDFS的。整体架构图如下：HBase 介于 NoSQL 和 RDBMS 之间，仅能通过主键(row key)和主键range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂...
评论 51
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值