189.HBase（三）：master架构，RegionServer架构，写流程，写缓存的刷写，HFile，读流程，合并读取的数据，store文件合并，region分区

最新推荐文章于 2024-10-05 11:27:00 发布
最新推荐文章于 2024-10-05 11:27:00 发布
阅读量307 收藏 1
点赞数
分类专栏： 从头开始学编程 文章标签： hbase 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40594696/article/details/128354281
版权
本文详细介绍了HBase的Master和RegionServer架构，包括写流程、写缓存刷写机制以及HFile结构。还探讨了读流程、合并优化、store文件合并及Region分区策略，为理解HBase的工作原理提供了全面的知识。
摘要由CSDN通过智能技术生成

目录

一、Master架构

二、RegionServer架构

三、写流程

四、写缓存的刷写

五、HFile结构

1.基础概念

2.数据本身包含的内容

3.查看HFile元数据

六、读流程

七、合并读取数据优化

八、store文件合并

1.小合并和大合并概念

2.小合并参数

3.合并过程

九、Region分区

1.预分区（自定义分区）

（1）手动设定预分区 

（2）按照文件中设置的规则预分区 

（3）生成 16 进制序列预分区 （不推荐）

（4）使用 JavaAPI 创建预分区

2.系统分区

（1）系统拆分流程

（2）不同版本的拆分规则

一、Master架构

  1. 多个regionServer将自己的信息同步到zookeeper，master服务端通过与zookeeper对接管理regionServer，知道regionServer的启停状态，而不是直接管理
  2. master服务器 = 负载均衡器 + 元数据表管理器 + 预写日志管理器
    1. 负载均衡器：master读取元数据表查看每个regionServer分配的任务量。每过5分钟调控一次任务量，达到负载均衡
    2. 元数据表管理器：专门启动一个线程，用来管理元数据表。因为元数据表会有很多个版本，元数据表管理器会定期的来清理那些没用的版本的元数据表
    3. 预写日志管理器：master处理一个复杂任务，为了避
了解本专栏 订阅专栏 解锁全文 超级会员免费看
鹏哥哥啊Aaaa
关注
专栏目录
订阅专栏
Hbase-HMaster架构
...
03-24 472
  HMaster的整体结构 一个master包含如下部分： 1.对外的接口    RPC服务    jetty web服务    Master MBean   其中RPC服务包括了若干listener，reader，以及handler线程(IPC Handler和 用于replication的IPC Handler) 2.执行服务 都是一些线程池，当有任务出现时就就会交给这...
HBase2.x（七）Master 架构
weixin_45417821的博客
10-01 856
注意：在客户端对元数据进行操作的时候才会连接 master，如果对数据进行读写，直接连接zookeeper 读取目录/hbase/meta-region-server 节点信息，会记录 meta 表格的位置。如果一个表处于切分的过程中，即 region 切分，还会多出两列 info：splitA 和 info：splitB，存储值也是 HRegionInfo 对象，拆分结束后，删除这两列。全称 hbase：meta，只是在 list 命令中被过滤掉了，本质上和 HBase 的其他表格一样。
Hbase1.3：Hbase基础架构、Hbase基础架构角色：Master、Region Server、Zookeeper、HDFS
郝开的博客
04-20 798
Hbase对于数据的读写操作是直接访问Zookeeper的，在2.3版本推出Master Registry模式(主注册表模式，默认是直接访问Zookeeper的)，客户端安可以直接访问master。使用此功能，会加大对master的压力，减轻对Zookeeper的压力。把master需要执行的任务记录到预写日志WAL中，如果master宕机，让bacpupMaster读取日志继续干。HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高容错的支持。meta表后面再研究。
Hbase学习日记：四、Hbase架构
Yal_insist的博客
07-05 737
Hbase架构
HBase 架构
梁辰兴的博客
10-12 4759
包含访问HBase的接口并维护cache来加快对HBase的访问。
hbase读写流程, regionserver内存调节
eyeofeagle的博客
11-11 1805
1，遇到的问题 hbase数据写入频繁，触发memstore刷写次数多，导致region , RS 下线，写入失败 hbase 发生compact ，导致RS下线，查询失败 2，hbase读写流程 a, read,write流程图 https://sematext.com/blog/hbase-memstore-what-you-should https://blog.cloudera.com/guide-to-using-apache-hbase-ports/ 表数据读写：1 (获取meta区域
Hbase的读写流程、快照管理以及RegionServer，Region，StoreFile，Hfile，ColumFamily的关系
allen的博客
02-23 5503
下面是hbase的架构图：1.hbase的写操作 首先client端写操作会先访问zookeeper获取hmaster的地址，然后访问hmasterhmaster会将处理这次操作的HRegionServer服务的地址给client，然后client会去请求对应的HRegionServer如果设置了AWL（Write-Ahead-Log）预写日志，那么HRegionServer会先进行预写日志操作，并
HBase架构原理(HBase架构，HBase数据存储结构，HBase原理（读流程，写流程）)（一）
May_J_Oldhu的博客
01-04 1138
HBase架构原理HBase架构原理一.HBase架构1.Client：客户端2.ZooKeeper3.HMaster4.HRegionServer5.HDFS6.Write-Ahead Logs7.HRegion8.Store9.MemStore10.HFile二.HBase数据存储结构1.RowKey2.Column Family3.Cell4.Time Stamp三.HBase原理1.元数据存储2.读流程3.写流程4.数据Flush过程 HBase架构原理 一.HBase架构 HBase是Master
HBase的架构、数据存储结构和进阶原理（读写流程、Flush、StoreFile合并、预分区、Region拆分与合并）详解
weixin_43230682的博客
07-22 2325
目录 一、HBase架构 1、Client 2、Zookeeper 3、HMaster（类似NameNode） 4、HregionServer（类似DataNode） 5、HDFS 6、HRegion 7、Store 8、HFile 9、MemStore 10、WAL（Write-Ahead logs） 11、HBase Meta表 二、HBase数据结构 1、RowKey（行键） 2、Column Family（列族） 3、Cell（单元） 4、TimeStamp（时间戳
HBase架构探究：RegionServer与Master的角色与功能
# 1. 引言 ## 1.1 解释HBase的概念和作用 HBase是一个开源的，分布式的，面向列的NoSQL数据库系统，它运行在Hadoop分布式文件系统上，提供了面向实时读写的随机、跨行的访问...本文旨在深入探讨HBase的架构及其工作
HBase学习二：RegionServer详解
qwerty1372431588的博客
01-16 441
RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作。RegionServer组件实际上是一个综合体系，包含多个各司其职的核心模块：HLog、MemStore、HFile以及BlockCache。一个RegionServer由一个（或多个）HLog、一个BlockCache以及多个Region组成。其中，HLog用来保证数据写入的可靠性；BlockCache可以将数据块缓存在内存中以提升数据读取性能；
深入理解 HBase 架构
张普的专栏
04-16 2236
HBase 架构组件Hbase 是由三种类型的 server 组成的主从式（master-slave）架构：Zookeeper，分布式协调节点，负责维护集群状态。HBase Master管理节点，负责 Region 的分配、上下线，DDL（创建，删除 table）等操作。Region Server存储节点，负责处理数据的读写请求，客户端请求数据时直接和 Region ...
HBase 的 MemStore 详解
goTsHgo的博客
09-30 1167
MemStore 是 HBase 的内存存储区域，它是一个负责缓存数据写入操作的组件。每当有写操作（如Put或Delete）发生时，数据会首先被写入到 MemStore 中，而不是直接写入磁盘。MemStore 类似于数据库中的缓冲区，主要用于提升写操作的性能。当 MemStore 达到一定的容量时，数据会被刷新（flush）到磁盘上，形成 HFile 文件存储在 HDFS 中。HBase 中的 MemStore 是一个核心的缓存机制，它通过缓存写操作来提升写性能，并在合适的时机将数据刷写到磁盘。
HBase 性能优化 详解
goTsHgo的博客
09-30 1500
在深入讨论优化策略之前，先简单回顾 HBase 的核心架构和工作原理。想要详细了解可以看我的HBase架构介绍。1.1 HBase 架构HMaster：负责元数据管理和 Region 的分配、迁移等操作。：负责数据的读写，管理多个 Region，存储实际的数据。ZooKeeper：作为分布式协调服务，管理集群状态和协同操作。HBase 通过分区（Region）存储数据，每个 Region 对应一定范围的 Row Key。当数据量超过设定的阈值时，Region 会进行自动切分。1.2 数据存储原理。
HBase批量写入优化
m0_57320261的博客
09-30 442
2.数据缓冲：在进行批量写入时，可以使用缓冲区来存储数据。1.批量写入操作：使用HBasef的批量写入操作可以显著提高性能。这样可以减少网络通信开销和减少多次写入操作的开销。3.批量操作参数调优：在进行批量写入时，可以调整一些参数来优化性能。4.预分区和预分配Region:在设计HBase表时，可以进行预分区和预分配Region。.将数据均匀分布在多个Region中，可以提高写入性能和负载均衡。以上是一些常见的HBas批量写入性能优化的方法，根据具体的场景和需求，可以选择适合的方法进行优化。
HBase
m0_74728220的博客
10-01 578
HBase学习之前，需要学习Zookeeper和Hadoop!HBase不能写SQL，HDFS不能删除数据！
Hbase要点简记
长不大的大灰狼
09-29 641
通过{行键，列族名，列名}可以唯一确定一个列单元并获取数据Value，和关系型数据库不同的是，HBase中的数据是没有类型的，都是以bytes形式存储；如果HBase中的一张表只有一个列族的话，等于是这个列族包含了这张表的所有列，也就是将表整行的数据连续存储在了一起，就等于是行式存储了。● Column Family（列族）：纵向切割，HBase中的每个列都归属于某个列族，列族不能改变，一行可有多个列族，一个列族可有任意个列；负责存储数据，Region 中的数据通过 HDFS 存储。
RabbitTemplate与AmqpTemplate：Spring AMQP中的消息传递模板
最新发布
qq_51321722的博客
10-05 565
是Spring AMQP框架的核心接口，它定义了一套标准的AMQP操作，如发送和接收消息、声明队列和交换机等。这个接口是对AMQP协议的抽象，提供了一种面向对象的方式来操作AMQP协议。它基于RabbitMQ的Java客户端库实现，使得开发者可以通过Spring框架的依赖注入和配置机制来简化与AMQP消息队列系统的交互。而则是Spring AMQP为RabbitMQ提供的一个高级消息操作模板。它实现了接口，并添加了一些针对RabbitMQ的特性和优化。不仅提供了与。
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
09-24
出现ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing错误的原因可能有三个：各集群服务器时间不同步、hbase-site.xml文件中hbase.rootdir参数配置错误、重新安装hbase时旧的元数据信息没有删除。 解决方案如下： 1. 同步各集群服务器的时间。 2. 在hbase-site.xml文件中将hbase.rootdir参数配置正确。示例：<property><name>hbase.rootdir</name><value>hdfs://n1:9000/hbase</value></property> 3. 删除hbase的元数据信息。进入zookeeper的安装目录，连接zookeeper客户端，找到hbase文件夹并删除/hbase/master/meta-region-serve文件。然后退出客户端，重启hbase即可解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鹏哥哥啊Aaaa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值