Hbase数据存储图解与数据检索流程

最新推荐文章于 2024-07-27 19:23:51 发布
最新推荐文章于 2024-07-27 19:23:51 发布
阅读量5.2k 收藏 11
点赞数 4
分类专栏： Hbase深入 文章标签： hbase 数据存储 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_shang/article/details/78012607
版权
本文详细介绍了HBase的数据存储图解，包括Hbase在Hadoop集群中的物理架构，重要组件如ZooKeeper、HMaster、HRegionServer的作用。同时，文章阐述了HBase表数据的写入和读取流程，解析了数据写入时的Hlog、memstore以及flush、compact、split机制，并介绍了读取过程中的meta表查询和blockcache使用。
摘要由CSDN通过智能技术生成

Hbase数据存储图解与流程

 

一、Hbase数据存储图解

 

二、hbase表数据的检索流程图（读和写的流程）

1、hbase在Hadoop集群中的物理架构

 

由图中可以看出，存储模块主要包括了ZooKeeper集群、HMaster、HRegionServer。

ZooKeeper：

         Hbase是强依赖于ZooKeeper，我们读或写一个表的数据，都会优先访问ZooKeeper。

通常是集群中单独的3/5台服务器。

HMaster通常是Hadoop集群中的一台或两台（backup-

最低0.47元/天 解锁文章
sun_shang
关注
专栏目录
大数据HBase（十三）：HBase读取和存储数据的流程
Lansonli（蓝深李）的博客
07-22 2286
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 HBase读取和存储数据的流程 一、HBase读取数据的流程 二、HBase存储数据的流程 客户端的同步流程: 异步服务器端执行过程: 系列历史文章 2021年大数据HBase（十一）：Apache Phoenix的视图操作 2021年大数据HBase（十）：Apache Phoenix的基本入门操作 2021年大数据HBase（九）：Ap..
HBase(14) -- HBase之基于Phoenix消息数据查询(视图、Java版Phoenix数据查询、二级索引)
erainm
09-11 422
1. 建立视图 1.1 应用场景 因为我们之前已经创建了 MOMO_CHAT:MSG 表，而且数据添加的方式都是以PUT方式原生API来添加的。故此时，我们不再需要再使用Phoenix创建新的表，而是使用Phoenix中的视图，通过视图来建立与HBase表之间的映射，从而实现数据快速查询。 1.2 视图介绍 我们可以在现有的HBase或Phoenix表上创建一个视图。表、列族和列名必须与现有元数据完全匹配，否则会出现异常。当创建视图后，就可以使用SQL查询视图，和操作Table一样。 语法示例： # 映射H
hbase存储图片
mdjxy63的博客
11-16 967
转载链接： http://blog.csdn.net/u010670689/article/details/33737989 http://www.simonzhang.net/?p=1615
大数据——HBase原理
最新发布
庄小焱
07-27 1298
HBase 是一个开源的、非关系型的分布式数据库系统，主要用于存储海量的结构化和半结构化数据。它是基于谷歌的 Bigtable 论文实现的，运行在 Hadoop 分布式文件系统（HDFS）之上，并且可以与 Hadoop 生态系统的其他组件无缝集成。 HBase 的设计目标是提供高可扩展性、实时读写和随机访问能力，这使其特别适合于需要快速处理和查询大数据集的应用场景。它采用行键（Row Key）作为主键，并使用列族（Column Family）来组织数据，数据在物理上按照行键的顺序存储，支持范围查询。
HBase架构及存储图
数据搬运工
03-24 195
随便画画，若有理解不对的地方，请大佬指出~~
hbase优点与数据检索流程
chenzhikaida的专栏
10-27 2450
hbase优点 hbase是一个列式存储的非关系型数据库，依赖于zookeeper。数据存储于hdfs上，主节点是HMaster，从节点是HRegionServer. hbase与关系型数据库相比较优点如下： 1. hbase数据存储于hdfs上，可扩展性强。数据条目数可以存储上一条。 2. 通过rowkey检索数据，速度可以准实时，达到秒级别。 3. 写数据非常快，只要写在Region的mem
Hbase的寻址机制
qq_48750919的博客
10-31 1615
Hbase的寻址机制 客户端访问Hbase，进行读取表中数据或者向表中写入数据时，会进行寻址操作，然而Hbase的逻辑存储单元是region，所以Hbase的寻址操作就是寻找指定表的的region。 大致流程如下： 如果客户端发送了一个查询语句：get 'mydb:student','0002'; （1）第一步，会先访问zookeeper，来获取meta表的位置 （2）第二步，访问meta表，在其中找到mydb:student表对应的region名称和位置信息 （3）第三步，通过region的名
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3464
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
图解大数据 | 海量数据库查询-Hive与HBase详解
「 虚幻私塾」
03-09 687
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/84 本文地址：http://www.showmeai.tech/article-detail/172 声明：版权所有，转载请联系平台与作者并注明出处 1.大数据与
数仓体系与数据治理全集
weixin_44687655的博客
04-06 3265
数据仓库（Data Warehouse），可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。
大数据研发（2hbase）2.2：hbase表结构和寻址过程
Reminder的博客
03-18 327
1.Region是Hbase中分布式存储和负载均衡的最小单元，每个region由以下信息标识：<表明，该region的起始rowkey, 创建时间>2.hbase中的两张特殊的表（存储了hbase中所有region的信息）-root表：记录.META.表的Region信息-meta表：记录用户表的Region信息 ROOT表是一级目录，Meta表为二级目录。当Meta表存储的信息变大时...
Hbase 读写流程，寻址流程，路由机制
赵炳泉的博客
11-19 1231
Hbase 读写流程，寻址流程，路由机制 #hadoop/hbase 读写过程 1.读请求 1.客户端通过zookeeper以及root表和meta表找到目标数据所在的region server 2.联系regionserver查询目标数据 4.region现在memstore总查找，则在storefile中花钱（可能会扫描到很多的storefile— bloomfilter） 2.写请求过程 1...
HBase 底层原理（系统架构、物理存储、寻址机制、读写过程、主从节点工作机制）
weixin_44387652的博客
03-17 725
HBase 底层原理（系统架构、物理存储、寻址机制、读写过程、主从节点工作机制）1、系统架构2、物理存储2.1、整体物理结构2.2、StoreFile 和 HFile 结构2.3、MemStore 和 StoreFile2.4、HLog(WAL)3、寻址机制3.1、老的 Region 寻址方式3.2、新的 Region 寻址方式4、读写过程4.1、读请求过程4.2、写请求过程5、RegionServer 工作机制6、Master 工作机制 1、系统架构 每一个 RegionServer 就只有一个 HLo
把hbase表导出保存到linux服务器，进而保存到windows上
tang_xiaotang的博客
08-22 542
1.把表导出到hdfs上 hbase org.apache.hadoop.hbase.mapreduce.Export 表名 数据文件位置 版本 开始时间 结束时间 //eg:hbase org.apache.hadoop.hbase.mapreduce.Export test_table /opt/hbase-data-back/test_table test_table :表名 /op...
遍历HBase表中的数据（把hbase中存储的图片写到本地）
u014627099的博客
04-10 3285
这段代码十分简单，我写这篇博客的唯一原因就是告诉广大像我一样的新手一句话：还是用maven把.....先把代码撸上：package com.***.**; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.PrintWriter; import org...
转：hbase操作（shell 命令，如建表，清空表，增删改查）以及 hbase表存储结构和原理
12-03 943
建议看原文，有格式。 版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.csdn.net/longshenlmj/article/details/48317567 两篇讲的不错文章 http://www.cnblogs.com/nexiyi/p/hbase_shell.html http://blog.csdn.net/u010967382/article/...
HBase实操 | 如何使用HBase存储图片
weixin_33767813的博客
11-16 6128
1.文档编写目的 Fayson在前面的文章中介绍了《如何使用HBase存储文本文件》和《如何使用Lily HBase Indexer对HBase中的数据在Solr中建立索引》，实现了文本文件保存到HBase中，并基于Solr实现了文本文件的全文检索。如果我们碰到的是图片文件呢，该如何保存或存储呢。本文主要描述如何将图片文件转成sequence fi...
HBase之读取数据流程
热门推荐
每天进步一点点
07-01 1万+
说明 本文参考自 HBase数据读取流程解析 hbase（二）hfile结构 目录 说明 1.HBase读取数据流程 2.疑问 2.1上述（10）中，需要对满足条件的KeyValue进行从小到大排序合并构建最小堆。 ​​2.1.1为什么Scanner需要有小到大排序？ 2.1.2HBase中KeyValue是什么样的结构？ 2.1.3不同KeyValue之间如何进行大小比较......
HBase数据读取深度解析：流程与优化
在HBase中，数据读取流程比写入更复杂，主要原因是其存储引擎基于LSM-Like（Log-Structured Merge Tree）树结构。这种设计使得在进行范围查询时，可能需要涉及多个Region（分片）、多块MemStore（内存缓冲区）以及多...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值