Hbase基本架构

最新推荐文章于 2023-07-21 08:35:16 发布
最新推荐文章于 2023-07-21 08:35:16 发布
阅读量207 收藏
点赞数
分类专栏： Hbase 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_ye931/article/details/107418538
版权

 

Store（对应一个列族）

保存实际数据的物理文件，StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。

MemStore

写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。

WAL（HLog）

由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

对应在HDFS中存储的关系

 

 

 

扩展：与Kudu的对比

Kudu  它不及HDFS批处理快，也不及HBase随机读写能力强，但是反过来它比HBase批处理快（适用于OLAP的分析场景），而且比HDFS随机读写能力强（适用于实时写入或者更新的场景），这就是它能解决的问题。

https://cloud.tencent.com/developer/news/391226

遥遥晚风点点
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RegionServer功能职责
JavaMan_chen的专栏
08-07 5677
Table of ContentsRegionServer功能职责租约管理Nonce管理堆内存监控健康检测RegionServer功能职责租约管理HBase的租约管理功能主要应用在scan查询上，如果客户端执行scan操作以后，在60秒内没有将Scanner进行关闭，也没有显示的将租约移除，这时查询租约将会过期，RegionServer会强行关闭与之对应的Scanner，来防止无效连接数过多的情况
Hbase的架构
洛云凡
12-28 235
- Client : hbase客户端， 1.包含访问hbase的接口。比如，linux shell，java api。 2.除此之外，它会维护缓存来加速访问hbase的速度。比如region的位置信息。- Zookeeper ： 1.监控Hmaster的状态，保证有且仅有一个活跃的Hmaster。达到高可用。 2.它可以存储所有region的寻址入口。如：r...
深入了解Hbase(二)Hbase中的RegionServer详解
qq_44665283的博客
07-13 5289
深入了解Hbase(二)Hbase中的RegionServer详解
【Hadoop】RegionServer详解
热门推荐
_朝和
12-30 1万+
RegionServer是HBase中最主要的组件,本文对RegionServer中的组件和机制进行较为详细地讲解
Hbase三大组件 -- Region Server、HMaster、Zookeeper 介绍
小方块的博客
09-15 5280
1）实时查询，可以认为是从内存中查询，一般响应时间在1秒内。HBase的机制是数据先写入到内存中，当数据量达到一定的量（如128M），再写入磁盘中， 在内存中，是不进行数据的更新或合并操作的，只增加数据，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBase I/O的高性能。1） 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。
HBase中什么是Region，什么是RegionServer
leanaoo的博客
10-26 8343
regionServer 其实是hbase的服务，部署在一台物理服务器上，region有一点像关系型数据的分区，数据存放在region中，当然region下面还有很多结构，确切来说数据存放在memstore和hfile中。我们访问hbase的时候，先去hbase 系统表查找定位这条记录属于哪个region，然后定位到这个region属于哪个服务器，然后就到哪个服务器里面查找对应region中的数据...
Hbase架构
weixin_44909266的博客
01-08 197
Hbase架构     hbase介绍：HBase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。主要用来存储非结构化和半结构化的松散数据。 a.目录表     hbase:meta作为HBase表存在，从HBase shell的list命令中过滤掉，实际上是一个表，保存系统中所有的region的列表...
hbase基本介绍
03-01
本文主要简单的介绍一下hbase数据库，主要是基本模型，与关系数据库的不同，主要应用场景。本文并未涉及hbase数据库的安装，具体安装过程网上都比较详细，也可参考《hbase权威指南》hbase是google公司bigtable的开源...
hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构
04-04
《HBase资源合集》包含了四本重量级的书籍，分别是《HBase企业应用开发实战》、《HBase权威指南》...通过深入学习，读者不仅可以掌握HBase的基本操作，还能了解到如何在大数据背景下构建高效稳定的数据存储和处理系统。
分布式数据库HBase的架构设计详解
02-25
近些年来，各种互联网+的公司如雨后春笋般出现，做一个在线平台或者做一个APP基本成为这些公司的标配。Web系统的流行，数据收集越来越容易，促使各类数据库系统应用得越来越广泛。我们在平时的技术讨论或者实际应用...
HBase应用架构
07-31
HBase是Apache Hadoop生态系统中的一个关键组件，它提供了高可靠、高性能、分布式的列式存储功能，尤其适合处理海量结构化和半结构化数据。 1. **HBase基础概念** - HBase是基于Google Bigtable的开源实现，主要为...
RegionServer架构以及HBase读写流程、MemStore Flush时机
ZYN的博客
01-06 763
文章目录RegionServer架构写流程读流程MemStore Flush时机1、MemStore级别2、Region级别：当写入速度大于flush速度时（写高峰），可能达到这个值3、RegionServer级别4、Hlog级别5、定期刷写6、手动刷写 RegionServer架构 写流程 Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。 访问对应的Region Server，获取hbase:meta表，根据写请求的namespace:table/
HBase 内核组件协调及RegionServer JVM参数调优-OLAP商业环境实战
weixin_33985507的博客
11-27 216
本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 1 弱化的Master HBase中Master的角色被弱化了，就算短时间待机都不会受影响，但不能宕机时间太久，数据的读取和写...
HBase—RegionServer详解
大树1993
08-02 3719
1.RegionServer 概述 一个RegionServer由一个(或多个，默认只有一个)HLog，一个BlockCache以及多个Region组成： HLog保证数据写入的高可靠性 Region是HBase数据表中的一个数据分片，也是负载均衡的最小单位 BlockCache将数据块缓存在内存提升数据读取性能 2.HLog 概述 HLog是为了保证数据的高可靠性，所有数据的增删改操作都会先追加到HLog中再写MemStore HLog是整个RegionSer
HBase的RegionServer的架构解释
张俊杰 的博客
11-30 2205
架构图 1）StoreFile 保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。 MemStore 写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。 WAL 由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率
一文带你读懂 Hbase 的架构组成
weixin_43958974的博客
05-16 2979
hi，大家好，我是大D。今天咱们继续深挖一下 HBase 的架构组成。 Hbase 作为 NoSQL 数据库的代表，属于三驾马车之一 BigTable 的对应实现，HBase 的出现很好地弥补了大数据快速查询能力的空缺。在前面咱们也有介绍过 HBase 的数据模型，感兴趣的小伙伴可以翻看下。谈谈你对HBase数据模型的认识？ HBase 的核心架构由五部分组成，分别是 HBase Client、HMaster、Region Server、ZooKeeper 以及 HDFS。它的架构组成如下图所示。
Hbase-之Hmaster and RegionServer角色解析（含WAL、BlockCache缓存使用）
shufangreal的博客
11-23 1348
Hbase-之Hmaster and RegionServer角色解析（含WAL、BlockCache缓存使用） 1 HMaster HMaster是Hbase主服务的进程实例，HMaster负责监听Hbase集群所有的RegionServer实例，而且他还负责元数据的修改、与ZK，HDFS之间的交互，在一个分布式集群中，HMaster通常与NameNode运行在同一个节点。 HMaster可以实现高可用，但是在启动Hbase集群的时候，所有的节点都可能成公启动active的HMaster，集群之间是存在
HBase架构篇 - Hadoop家族的天之骄子HBase
The Secret
04-15 3239
本文介绍Hadoop家族的HBase。
hbase架构详解
最新发布
qq_66563605的博客
07-21 2699
flink之hbase
HBase 基本命令
05-30
以下是HBase的一些基本命令： 1. 创建表 ``` create 'table_name', 'column_family_1', 'column_family_2'... ``` 例如： ``` create 'user', 'info', 'address' ``` 2. 列出所有表 ``` list ``` 3. 查看表结构 ``` describe 'table_name' ``` 例如： ``` describe 'user' ``` 4. 插入数据 ``` put 'table_name', 'row_key', 'column_family:column_name', 'value' ``` 例如： ``` put 'user', '001', 'info:name', 'John' put 'user', '001', 'info:age', '25' put 'user', '001', 'address:city', 'New York' ``` 5. 查找数据 ``` get 'table_name', 'row_key' ``` 例如： ``` get 'user', '001' ``` 6. 扫描表 ``` scan 'table_name' ``` 例如： ``` scan 'user' ``` 7. 删除数据 ``` delete 'table_name', 'row_key', 'column_family:column_name' ``` 例如： ``` delete 'user', '001', 'address:city' ``` 8. 删除表 ``` disable 'table_name' drop 'table_name' ``` 例如： ``` disable 'user' drop 'user' ``` 这些命令涵盖了HBase的基本操作，可以帮助你开始使用HBase。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值