Hbase的读写流程

最新推荐文章于 2024-11-11 20:47:17 发布
最新推荐文章于 2024-11-11 20:47:17 发布
阅读量150 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： hbase 大数据 hadoop
原文链接：https://www.cnblogs.com/lijiong/p/15189715.html

目录

HBase的存储结构

HBase的读写流程

写数据流程

读数据流程

HBase的存储结构

  • 表中所有行按Rowkey的字典顺序排列，在行的方向上分割为多个Region
  • Region是HBase分布式存储和负载均衡的最小单元，一个RegionServer有多个Region，每个RegionServer维护一个HLog日志
  • Region由Store组成，每个Store保存一个列族，每个Store由一个MemStore和多个StoreFile组成，StoreFile以HFile格式保存在HDFS上

HBase的读写流程

  1. Client从Zookeeper中读取metaRegion所在RegionServer，获取metaRegion的路由信息后，再从metaRegion中定位要读写的Rowkey所关联的Region信息
  2. Client会缓存Region的路由信息，避免每次读写都去访问Zookeeper或metaRegion

写数据流程

  1. Client向RegionServer发送写请求，RegionServer将请求转发给对应的Region，Region中写入的数据，都暂时先缓存在MemStore中，为了保障数据可靠性，会先将数据顺序写入到一个WAL（Write-Ahead-Log）日志文件中，WAL中的数据按时间顺序组织，如果内存中的数据尚未持久化，遇到断电，只需将WAL中的数据回放到Region中即可

  2. 每一个列族在Region内部被抽象为一个Store对象，每一个Store有MemStore来缓存一批最近被写入的数据，在2.0版本中，默认的Flush是将正在写的MemStore中的数据归档为一个不可变的Segment，MemStore由一个可写的ActiveSegment和多个不可写的ImmutableSegment构成

  3. MemStore中的数据先Flush成一个不可写的Segment，多个不可写的Segment可以在内存中进行Compaction，当达到一定阈值后才将内存中的数据持久化为HDFS中的HFile文件

  4. 达到触发条件会进行Compaction，将多个HFile的交错无序状态，变成单个HFile的有序状态，降低读取延时

    小范围的HFile文件合并，称为MinorCompaction

    一个列族中将所有HFile文件合并，称为MajorCompaction，除了文件合并范围不同外，MajorCompaction还会清理过期，版本过旧以及标记删除的数据

  5. 随着Region增大到阈值后，会触发Split操作，将Region一分为二

读数据流程

  1. 定位Rowkey所关联Region，Client发送读取请求到对应的RegionServer
  2. RegionServer处理Get请求时先将Get转换成一个StartRow和StopRow重叠的Scan操作
  3. 扫描MemStore和HFile查询数据响应给Client
HBase之读写数据流程简要解释
05-24 272
读数据流程 注: HRegionServer保存着meta表以及表数据 1.要访问表数据，首先Client先去访问zookeeper，从zookeeper里面获取meta表所在的位置信息，即找到这个meta表在哪个HRegionServer上保存着。（region元数据信息存在regionServer,regionServer的元数据信息存在zookeeper） 2.接着Client通过刚才...
【HBase-读写流程】HBase的读写流程与内部执行机制
weixin_53543905的博客
04-12 2437
1、客户端发起写入数据的请求，然后首先要连接 zookeeper，通过 zookeeper 去找到 HBase 中的 meta 文件对应的 region 所对应的 regionserver 的地址，连接 meta 文件所在的 regionserver，通过要写入数据的 rowkey，找到 rowkey 对应的 region（底层是根据 region 的范围去寻找的），然后找到 region 对应的 regionserver 的地址。
hbase读取数据过程
12-26
HBASE的一个读取数据流程的解析，清晰的画出整个过程，十分有利于理解
HBase读写数据流程
qq_45275284的博客
03-28 215
写流程： Client先访问zookeeper,获取hbase:meta表位于那个Region Server。 访问对应的Region Server，获取hbase:meta表。根据写请求的namespace:table/rowkey,查询出目标数据位于那个Region Server指标的那个Region中。并将改table的region信息以及meta表的位置信息缓存在客户端的meta cache中，方便下次访问。 与目标Region Server进行通讯。 将数据顺序写入（追加）到WAL。 将数据写
hbase读取数据流程
epitomizelu的专栏
06-02 1744
一，读取流程 1，hbase读取的流程是从zookeeper获取元数据所在server 2，获取元数据，根据用户条件确定数据所在server、region，并发向这些server请求数据 3，server构建三层扫描器，从region、store、hfile三个层面进行过滤 4，首先根据rowkey定位到region 5，定位hfile：根据rowkey结合rowkey、timestamp、布隆过滤器，过滤没有要查询的数据的hfile 6，在hfile中定位到block：hfile中存储着block的索引
HBase之读取数据流程
热门推荐
每天进步一点点
07-01 1万+
说明 本文参考自 HBase数据读取流程解析 hbase（二）hfile结构 目录 说明 1.HBase读取数据流程 2.疑问 2.1上述（10）中，需要对满足条件的KeyValue进行从小到大排序合并构建最小堆。 ​​2.1.1为什么Scanner需要有小到大排序？ 2.1.2HBase中KeyValue是什么样的结构？ 2.1.3不同KeyValue之间如何进行大小比较......
HBase读写流程
ThreeAspects的博客
02-08 613
HBase读写流程HBase 写流程HBase读流程 HBase 写流程   插入一条数据到某个表，因为HBase通过ZooKeeper协调，Client 首先连接ZooKeeper，从ZooKeeper中获取表region相关信息。根据要插入的rowkey，获取指定的RegionServer信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。   当得到了需要...
Hbase读写流程
weixin_43006131的博客
02-03 272
Hbase读写数据流程 regionserver HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了Table中的一个Region，HRegion中由多个HStore组成,每个HStore对应了Table中的一个Column Family的存储， 可以看出每个Column Family其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在...
【大数据学习 | HBASE】hbase的读数据流程与hbase读取数据
最新发布
2301_80912559的博客
11-11 2301
一句话：查询数据的时候将对其进行哈希处理，然后与哈希地图进行比对，如果哈希表取到的值为空，说明storeFile没有该要查询的数据，如果哈希表找到的值不为空，也不一定存在要查询的数据。存储在hdfs中的hbase文件，这个文件中会存在hbase中的数据以kv类型显示，同时还会存在hbase的。，会以64Kb为大小进行存储，如果数据过期了先清理value的数据，而索引等数据和元数据信息不会清理出去。，包括整个hfile文件的索引大小，描述，k和v的均匀长度，文件中包含的。在巨大的数据面前可以进行高效的数据。
Hbase读数据流程
reddy_Hu的博客
07-19 325
一、读数据流程 1.在客户端输入一个指令 get "a" ,"rk0010" 请求到 zookeeper的/hbase/META(META标位置) 2.返回记录表数据位置的meta表的机器,交给客户端 3.客户端请求regionserver2(加入meta返回数据告诉数据在region中储存) 下载meta表(我也有点不太清楚,可能是meta表在regionserver中也存在一份?) 4.将meta表返回给客户端 5.缓存 (345步待考证) 6.从meta表中得到对应的regio...
一文带你了解HBase读取数据详细流程
newbei5862的博客
11-16 5786
HBase数据读取流程 1、hbase数据读取流程简单描述 ​ 一般来说，在描述hbase读取流程的时候，简单的描述如下： ​ 1)、客户端从zookeeper中获取meta表所在的regionserver节点信息 ​ 2)、客户端访问meta表所在的regionserver节点，获取到region所在的regionserver信息 ​ 3)、客户端访问具体的region所在的regionserver，找到对应的region及store ​ 4)、首先从memstore中读取数据，如果读取到了那么直接将数据
HBase读取流程（源码角度）
gaofeng的博客
07-05 1813
HBase数据读取流程 1、hbase数据读取流程简单描述 ​ 一般来说，在描述hbase读取流程的时候，简单的描述如下： ​ 1、客户端从zookeeper中获取meta表所在的regionserver节点信息 ​ 2、客户端访问meta表所在的regionserver节点，获取到region所在的regionserver信息 ​ 3、客户端访问具体的region所在的regionserver，找到对应的region及store ​ 4、首先从memstore中读取数据，如果读取到了那么直接将数
HBase数据的读写流程
张俊杰 的博客
02-04 497
转载地址 http://c.biancheng.net/view/6529.html HBase 的核心模块是 Region 服务器。Region 服务器由多个 Region 块构成，Region 块中存储一系列连续的数据集。Region 服务器主要构成部分是 HLog 和 Region 块。HLog 记录该 Region 的操作日志。 Region 对象由多个 Store 组成，每个 Store 对应当前分区中的一个列族，每个 Store 管理一块内存，即 MemStoreo 当 MemStore 中的数
[博学谷学习记录]超强总结，用心分享|HBase的读写数据的流程
weixin_43814165的博客
01-07 626
HBase的读写数据的流程
HBase写请求分析
weixin_30527143的博客
05-01 104
HBase作为分布式NoSQL数据库系统，不单支持宽列表。而且对于随机读写来说也具有较高的性能。在高性能的随机读写事务的同一时候。HBase也能保持事务的一致性。眼下HBase仅仅支持行级别的事务一致性。本文主要探讨一下HBase的写请求流程。主要基于0.98.8版本号的实现。 client写请求 HBase提供的Java client API是以HTable...
hbase读写请求详细解释
weixin_33817333的博客
02-28 393
2019/2/28 星期四 hbase读写请求详细解释hbase的读写过程读请求过程 1、客户端通过 ZooKeeper 以及-ROOT-表和.META.表找到目标数据所在的 RegionServer(就是 数据所在的 Region 的主机地址)2、zk返回结果给客户端3、联系 RegionServer 查询目标数据4、RegionServer 定位到目标数据所在的 Region，发出查询请求5...
HBase Client读写数据的流程
wjt199866的博客
12-25 1498
1. hbase的系统表 hbase:namespace--->存储了hbase中的所有namespace的信息 hbase:meta--->存储了hbase中所有的region的信息，包括rowkey范围，region所在的regionserver的地址。 hbase:meta--->在zookeeper中，进入zookeeper中查看...
hdfs和HBASE读写流程
09-25
HDFS (Hadoop Distributed File System) 和 HBase 是 Apache Hadoop 生态系统中的两个重要组件，它们在分布式数据存储和处理中有各自的角色。 HDFS 读写流程大致如下： 1. **客户端发起请求**：用户通过 HDFS API 向 NameNode 发出文件操作请求（如读取或写入），NameNode 负责全局文件系统的元数据管理。 2. **元数据查询**：NameNode 接收请求后，验证权限并返回文件块的位置信息给客户端。 3. **数据定位**：客户端根据 NameNode 提供的信息找到 DataNode 的地址列表。 4. **数据传输**：客户端将数据分片（Block）发送到相应的 DataNode，并记录副本数以保证数据冗余。 5. **DataNode 数据接收和处理**：当 DataNode 收到数据后，将其写入磁盘并更新自身的块列表。 6. **读取过程**：如果需要读取数据，客户端同样先向 NameNode 查询文件位置，然后从 DataNode 获取数据。 HBase 的读写流程： 1. **客户端连接**：客户端通过 Java API 或其他客户端库连接到 ZooKeeper 集群获取 HBase Master 的地址。 2. **表和行键查询**：客户端将表名、行键发送到 Master，Master 返回 RegionServer 的位置。 3. **RegionServer定位**：客户端找到负责该 Region 的 RegionServer。 4. **数据读写**：对于写入操作，客户端将请求发送到 RegionServer，RegionServer 将数据写入 MemStore，之后可能会触发 Compaction 过程，将 MemStore 中的数据刷入 HFile 到硬盘；读取操作则直接从 HFile 中查找数据。 5. **结果返回**：读写完成后，结果通过网络返回给客户端。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值