【硬刚HBase】HBASE进阶（1）：RegionServer 架构

已于 2022-03-12 12:43:17 修改
阅读量360 收藏
点赞数
分类专栏： Hbase系统性学习专栏 文章标签： hive big data
于 2021-09-15 20:56:11 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/120316711
版权
本文详细介绍了HBase RegionServer的架构，包括StoreFile、MemStore、WAL和BlockCache四个关键组件。StoreFile是HFile在HDFS上的存储形式，数据先在内存的MemStore排序后写入。WAL用于防止数据丢失，确保即使系统故障也能恢复。BlockCache则作为读缓存，提高查询效率。HBase的WAL会定期滚动，并有特定参数控制其行为。
摘要由CSDN通过智能技术生成

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的HBase部分补充。

1 架构原理

1）StoreFile

　　保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。

2）MemStore

　　写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【硬刚Hbase】HBASE进阶（3）:读流程
微信搜：import_bigdata，大数据领域硬核原创作者
09-20 301
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hbase部分补充。 1）整体流程 2）Merge细节 读流程 1）Client先访问zookeeper，获取hbase:meta表位于哪个RegionServer。 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信..
hbase与hdfs的交互
05-20 323
hdfs和hbase的交互,和写MapReduce程序类似,只是需要修改输入输出数据和使用hbase的javaAPI对其进行操作处理即可 public class HBaseToHdfs extends ToolRunner implements Tool { private Configuration configuration; //配置文件需要配置...
Hbase和Hdfs的相互通讯/Hbase的mapreduce操作
大数据容器
06-01 1307
1、HBase 结合 MapReduce 为什么需要用 mapreduce 去访问 hbase 的数据？ ——加快分析速度和扩展分析能力 Mapreduce 访问 hbase 数据作分析一定是在离线分析的场景下应用 1.1将hbase数据转到hdfs中 需求:将hbase中的数据导出到hdfs中,下边结合代码进行解释 /**************************************...
Hadoop大数据系列组键-介绍
qq_39122260的博客
02-23 1562
一、大数据介绍 Volume（大量） Velocity（高速） 快速计算 Variety（多样） 结构化数据、非结构化数据 Value（低价值密度） 快速对有价值数据“提纯” 二、全局架构介绍 三、各各组件介绍 zookeeper:为分布式框架提供协调服务，文件系统+通知机制 工作机制 基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的 注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察 者做出
第一百零八期:比较容易理解的Hbase架构全解，10分钟学会，建议收藏
歌谣的博客
11-11 301
依然是Hadoop组件的讲解，今天说到HBase 架构，都是一字一句打出来的，希望各位转发加关注，会一直给大家写优质的内容。 作者：IT技术管理那些事儿 依然是Hadoop组件的讲解，今天说到HBase 架构，都是一字一句打出来的，希望各位转发加关注，会一直给大家写优质的内容。 物理上，Hbase 是由三种类型的 server 组成的的主从式(master-slave)架构： Region...
Hadoop角色的作用
IT影风的博客
07-10 897
NameNode（NN）作用：主要是接受客户端的读写服务但同时也保存metadate信息。                     NameNode保存metadate信息包括                    1，文件owership和permissions                    2，文件包含哪些块                    3，Block保存在哪个DataNod...
HBase—RegionServer详解
大树1993
08-02 3781
1.RegionServer 概述 一个RegionServer由一个(或多个，默认只有一个)HLog，一个BlockCache以及多个Region组成： HLog保证数据写入的高可靠性 Region是HBase数据表中的一个数据分片，也是负载均衡的最小单位 BlockCache将数据块缓存在内存提升数据读取性能 2.HLog 概述 HLog是为了保证数据的高可靠性，所有数据的增删改操作都会先追加到HLog中再写MemStore HLog是整个RegionSer
【HBase九】HBase架构
bit1129的博客
04-10 258
1. Zookeeper Dump 访问HBase的web页面：http://192.168.26.140:16030/zk.jsp   HBase is rooted at /hbase Active master address: hadoop.master,16020,1428562242762 Backup master addresses: Region server h...
【硬刚Hbase】HBASE进阶（2）:写流程/MemStore Flush
微信搜：import_bigdata，大数据领域硬核原创作者
09-19 298
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hbase部分补充。 1 写流程 写流程： 1）Client先访问zookeeper，获取hbase:meta表位于哪个RegionServer。 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端..
HBase 多租户隔离技术：RegionServer Group 介绍及实战
Hadoop技术博文
11-02 2522
下面文字如代码错乱，可以点击下面的 阅读原文 即可进入原文阅读。https://www.iteblog.com/archives/2435.html背景随着 Apache...
HBase学习二：RegionServer详解
qwerty1372431588的博客
01-16 433
RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作。RegionServer组件实际上是一个综合体系，包含多个各司其职的核心模块：HLog、MemStore、HFile以及BlockCache。一个RegionServer由一个（或多个）HLog、一个BlockCache以及多个Region组成。其中，HLog用来保证数据写入的可靠性；BlockCache可以将数据块缓存在内存中以提升数据读取性能；
NameNode启用HA主备节点进行切换，Hbase启动RegionServers失败
周源的专栏
04-03 1454
打印日志：2018-03-13 17:08:49,418 INFO  [RS_OPEN_REGION-C2bdm3:16020-16] coordination.ZkOpenRegionCoordination: Opening of region {ENCODED => c5112e862e17377d2737596d6d5ddd0c, NAME => 'KYLIN_CY40CLW8...
Hadoop / HDFS / Spark / HBase知识点 + 区别
noobiee的博客
03-23 4436
前言 Spark，是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。 Hadoop，是分布式管理、存储、计算的生态系统；包括HDFS（存储）、MapReduce（计算）、Yarn（资源调度）。 尽管Hadoop具有许多重要的功能和数据处理优势，但它仍存在一个主要缺点。Hadoop的本地批处理引擎MapReduce不如Spark快。 这就是Spark超越Hadoop的优势。除此之外，当今大多数大数据项目都需要批处理工作负载以及实时数据处理。Hadoo
深入HBase架构解析（1）
onlyForCloud的专栏
09-24 579
http://blog.jobbole.com/91913/ 原文出处： DLevin（@雪地脚印_）   欢迎分享原创到伯乐头条 前记 公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，
hbase参数配置优化
BigData
09-28 703
hbase.rootdir 　　这个目录是region server的共享目录，用来持久化Hbase。URL需要是’完全正确’的，还要包含文件系统的scheme。例如，要表示hdfs中的/hbase目录，namenode运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认:file:///tmp/hbase-${user.name}/hbase hbase.master.port 　　Hbase...
hbase默认配置
bobo0123的专栏
07-27 648
摘自：http://eclecl1314-163-com.iteye.com/blog/1474286   HBase 默认配置 该文档是用hbase默认配置文件生成的，文件源是hbase-default.xml(因翻译需要，被译者修改成中文注释). hbase.rootdir 这 个目录是region  server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含
pyhton - PyHive
最新发布
xingyuelhb的博客
08-30 570
这里，我们使用 PyHive 连接到 Hive 数据库，并使用 Pandas 读取了数据库中的数据。这里，我们使用 PyHive 连接到 Hive 数据库，并使用 SQL 查询语句获取数据集的总行数。这里，我们使用 pandas.read_sql 方法将查询结果转换为 Pandas DataFrame，并将其赋值给名为 df 的变量。这里，我们创建一个名为 connection 的连接对象，并将其连接到本地的 Hive 数据库上。请注意，你需要提供正确的连接参数以连接到你的Hive。
java框架第二课(Reflection反射机制)
2301_77721901的博客
08-27 1079
java反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取信息以及动态调用对象的方法的功能称为java语言的反射机制。(3)在java中为什么要使用反射就在上述场景中介绍一样，在java中平常不可避免的要用到反射，平常写业务代码(就是自己创建类new 对象，自己清楚类的属性和方法)用不到，但是一些其他场景不可避免地可能只知道类名,对象名等，要对该类(对象)的属性，方法操作就需要•。
HBase系统架构深入解析：RegionServer、HMaster、ZooKeeper协作机制
HBase系统架构是由三种类型的服务器以主从模式构成的，分别是Regionserver、HMaster和ZooKeeper。每种服务器都有其特定的职责和功能。 **Regionserver** Regionserver是HBase中负责数据的读写服务的服务器。用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值