hbase读写流程

最新推荐文章于 2020-03-30 17:43:43 发布
最新推荐文章于 2020-03-30 17:43:43 发布
阅读量822 收藏
点赞数 1
分类专栏： hbase 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Warm_days/article/details/75258419
版权

这里写图片描述
Hbase0.96之后取消了root表
首先来看一下hbase的写入数据：
1.当我们对表t1执行put操作时，首先访问zk集群，找到meta表所在位置
2.查询meta表，找到t1表所在region和regionserver，然后缓冲这些信息
3.向WAL(预写日志）中写入数据，只要当WAL写入成功，才会向memstore（内存）写入数据，当数据量超过内存时，会执行flush操作，产生Hfile文件，当Hfile文件达到一定数量时会合并成一个大的Hfile,当大的Hfile达到一定数量时会触发split,会由一个region分裂成2个，分开存储表数据（为了提高写入速度可以将WAL关掉，但是不建议这样做，因为如果数据丢失将在无法找回）。
4.告诉客户端写入成功

warm_days
关注
专栏目录
HBase架构、读写数据流程、MemStore刷写时机、StoreFile Compaction合并、Region Split
DaDiNiWangGe的博客
02-22 569
RegionServer 架构 1）StoreFile 保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。 2）MemStore 写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写...
【HBase-读写流程】HBase的读写流程与内部执行机制
weixin_53543905的博客
04-12 2163
1、客户端发起写入数据的请求，然后首先要连接 zookeeper，通过 zookeeper 去找到 HBase 中的 meta 文件对应的 region 所对应的 regionserver 的地址，连接 meta 文件所在的 regionserver，通过要写入数据的 rowkey，找到 rowkey 对应的 region（底层是根据 region 的范围去寻找的），然后找到 region 对应的 regionserver 的地址。
Hbase的读写流程
Smart_cxr的博客
05-05 314
1 写操作流程步骤1：Client通过Zookeeper的调度，向HRegionServer发出写数据请求，在HRegion中写数据。步骤2：数据被写入HRegion的MemStore，直到MemStore达到预设阈值。步骤3：MemStore中的数据被Flush成一个StoreFile。步骤4：随着StoreFile文件的不断增多，当其数量增长到一定阈值后，触发Compact合并操作，将多个St...
Hbase读写流程
weixin_43726774的博客
03-30 375
注意：首先声明一点的是Hbase是一个读数据比写数据复杂（慢）的框架，所以先来看下写数据流程（以下为Hbase1.3.1版本） 另外：读写数据均与master无关 Hbase写数据流程 Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server（保存在了zookeeper的/hbase/meta-region-...
HBase读写流程详细解读
热门推荐
zhangshk_的博客
11-03 1万+
HBase 写入流程： 插入一条数据到某个表，因为HBase通过Zookeeper协调 Client 首先连接Zookeeper，从Zookeeper中获取表region相关信息。 根据要插入的rowkey，获取指定的Regionserver信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。 当得到了需要访问的Regionserver之后，Client，会向对...
HBase读写流程
ThreeAspects的博客
02-08 557
HBase读写流程HBase 写流程HBase读流程 HBase 写流程   插入一条数据到某个表，因为HBase通过ZooKeeper协调，Client 首先连接ZooKeeper，从ZooKeeper中获取表region相关信息。根据要插入的rowkey，获取指定的RegionServer信息，如果是批量提交的话，会把rowkey根据HRegion Location进行分组。   当得到了需要...
HBase 读写流程
weixin_42379136的博客
02-11 273
Hbase读写流程 写流程： ·  zookeeper中存储了meta表的region信息，从meta表获取相应region信息，然后找到meta表的数据 ·  根据namespace、表名和rowkey根据meta表的数据找到写入数据对应的region信息 ·  找到对应的regionserver ·  把数据分别写到HLog和MemStore上一份 ·  MemStore达到一...
HBase读写流程 & 模块协作
呼呼的小窝
07-21 971
HBase写流程 假如说我们要插入一条数据到某个表里面，会经历的过程如下图： 概述 Client会先访问zookeeper，得到对应的RegionServer地址 Client对RegionServer发起写请求，RegionServer接受数据写入内存 当MemStore的大小达到一定的值后，flush到StoreFile并存储到HDFS 详细流程 Client首先会去访问Z...
hdfs和HBASE读写流程
最新发布
09-25
HDFS (Hadoop Distributed File System) 和 HBase 是 Apache Hadoop 生态系统中的两个重要组件，它们在分布式数据存储和处理中有各自的角色。 HDFS 读写流程大致如下： 1. **客户端发起请求**：用户通过 HDFS API 向 NameNode 发出文件操作请求（如读取或写入），NameNode 负责全局文件系统的元数据管理。 2. **元数据查询**：NameNode 接收请求后，验证权限并返回文件块的位置信息给客户端。 3. **数据定位**：客户端根据 NameNode 提供的信息找到 DataNode 的地址列表。 4. **数据传输**：客户端将数据分片（Block）发送到相应的 DataNode，并记录副本数以保证数据冗余。 5. **DataNode 数据接收和处理**：当 DataNode 收到数据后，将其写入磁盘并更新自身的块列表。 6. **读取过程**：如果需要读取数据，客户端同样先向 NameNode 查询文件位置，然后从 DataNode 获取数据。 HBase 的读写流程： 1. **客户端连接**：客户端通过 Java API 或其他客户端库连接到 ZooKeeper 集群获取 HBase Master 的地址。 2. **表和行键查询**：客户端将表名、行键发送到 Master，Master 返回 RegionServer 的位置。 3. **RegionServer定位**：客户端找到负责该 Region 的 RegionServer。 4. **数据读写**：对于写入操作，客户端将请求发送到 RegionServer，RegionServer 将数据写入 MemStore，之后可能会触发 Compaction 过程，将 MemStore 中的数据刷入 HFile 到硬盘；读取操作则直接从 HFile 中查找数据。 5. **结果返回**：读写完成后，结果通过网络返回给客户端。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值