HBase的读写流程

最新推荐文章于 2022-04-28 14:28:30 发布
最新推荐文章于 2022-04-28 14:28:30 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： # Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41170102/article/details/105821145
版权
本文详细介绍了HBase的写流程，包括Client如何通过zookeeper找到RegionServer，数据如何从MemStore到StoreFile的过程。同时阐述了读流程，从MemStore到BlockCache的读取步骤。还探讨了HBase集群在启动、RegionServer失效和HMaster失效时的应对策略，确保数据的稳定性和可访问性。
摘要由CSDN通过智能技术生成

HBase的写流程

在这里插入图片描述

  • Client访问zookeeper获取指定的RegionServer的地址（缓存meta表）
  • Client向RegionServer发起写请求，RegionServer接收数据写入内存
  • 当MemStore大小达到一定值时会将数据flush到StoreFile文件并且存储在HDFS上

在这里插入图片描述

  • RegionServer管理着多个Region，每个Region对应着一个HLog实例
  • Region是HBase的基本存储单元，每一个Region只存储一个列族的部分数据（数据量大切分后会切分成多个Region）
  • 每一个Region包含多个Store对象，每个Store对象包含一个MemStore和多个StoreFile
  • StoreFile是Hfile的一个封装
  • HLog是一种与写日志，数据先写入MemStore再写入HLog，只有在HLog中写入成功才算写入成功，如果MemStore中数据丢失可以从HLog中找回

HBase的读流程

在这里插入图片描述

  • Cli
最低0.47元/天 解锁文章
clonechen2021
关注
专栏目录
Hbase读写流程
weixin_43006131的博客
02-03 237
Hbase读写数据流程 regionserver HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了Table中的一个Region，HRegion中由多个HStore组成,每个HStore对应了Table中的一个Column Family的存储， 可以看出每个Column Family其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在...
【HBase-读写流程】HBase的读写流程与内部执行机制
weixin_53543905的博客
04-12 2181
1、客户端发起写入数据的请求，然后首先要连接 zookeeper，通过 zookeeper 去找到 HBase 中的 meta 文件对应的 region 所对应的 regionserver 的地址，连接 meta 文件所在的 regionserver，通过要写入数据的 rowkey，找到 rowkey 对应的 region（底层是根据 region 的范围去寻找的），然后找到 region 对应的 regionserver 的地址。
图文详解 HBase 的读写流程
热门推荐
Shockang的博客
08-08 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 请结合我的这篇博客来理解本文： 一篇文章搞懂 HBase 的内部原理 读操作 首先从 ZooKeeper 找到 meta 表的 region 位置，然后读取 hbase:meta 表中的数据， hbase:meta 表中存储了用户表的 region 信息 根据要查询的 namespace 、表名和 r
HBase --- 读写流程（一）
04stone37
08-23 637
整体流程 读写流程主要分为两大部分： Client从MetaTable路由到Region所在的Region Server; Client直接与对应的Region Server进行交互； 　　　　 路由表MetaTable 　　MetaTable存储Region与Region Server的对应关系，其结构如下所示： 路由表的获取时机 　　Client 首次读写时会首先从Zoo...
Hbase的读写流程
weixin_43520450的博客
04-28 307
一、HBase读数据流程 Hbase的regionserver里面有内存Memstore和block cache。 Memstore作业主要是写，另一部分主要是读的。 block cache用的是LRU，如果block cache达到上限，会启动淘汰机制。 （1）HRegionServer保存着.META.的这样一张表以及表数据，要访问表数据，首先Client先去访问zookeeper，从zoo...
HBase读写流程
ThreeAspects的博客
02-08 561
HBase读写流程HBase 写流程HBase读流程 HBase 写流程   插入一条数据到某个表，因为HBase通过ZooKeeper协调，Client 首先连接ZooKeeper，从ZooKeeper中获取表region相关信息。根据要插入的rowkey，获取指定的RegionServer信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。   当得到了需要...
HBase 读写流程
weixin_42379136的博客
02-11 278
Hbase读写流程 写流程： ·  zookeeper中存储了meta表的region信息，从meta表获取相应region信息，然后找到meta表的数据 ·  根据namespace、表名和rowkey根据meta表的数据找到写入数据对应的region信息 ·  找到对应的regionserver ·  把数据分别写到HLog和MemStore上一份 ·  MemStore达到一...
Hbase 读写流程
zhanggf的博客
05-24 1273
一 Hbase 读写 Region是HBase数据存储和管理的基本单位。在HBase的一个表中，可以包含一个或多个region。对于一个region，每个列族都会对应一个store，用来存储该列族的数据。每个store都有一个写缓存memstore，用于缓存写入的数据。 【写过程】 1、客户端向RegionServer发送写入数据请求。Client先从缓存中定位region，如果没有缓存则需访问zookeeper，从.META.表获取要写入的region信息 2、定位写入region。找到小于row
HBase读写流程 & 模块协作
呼呼的小窝
07-21 982
HBase写流程 假如说我们要插入一条数据到某个表里面，会经历的过程如下图： 概述 Client会先访问zookeeper，得到对应的RegionServer地址 Client对RegionServer发起写请求，RegionServer接受数据写入内存 当MemStore的大小达到一定的值后，flush到StoreFile并存储到HDFS 详细流程 Client首先会去访问Z...
hbase读写流程
weixin_44677254的博客
04-28 1746
hbase
HBase系列(二)：HBase架构及读写流程
little prince，blue coder
07-20 1万+
本篇博文从分析HBase架构开始，首先从架构中各个组成部分开始，接着从HBase写入过程角度入手，分析HFile的Compaction合并、Region的Split分割过程及触发机制。 架构分析 HBase...
hdfs和HBASE读写流程
最新发布
09-25
HBase 的读写流程： 1. **客户端连接**：客户端通过 Java API 或其他客户端库连接到 ZooKeeper 集群获取 HBase Master 的地址。 2. **表和行键查询**：客户端将表名、行键发送到 Master，Master 返回 RegionServer...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值