HBase源码分析之memstore的实现及flush处理流程

最新推荐文章于 2024-09-30 16:44:12 发布
最新推荐文章于 2024-09-30 16:44:12 发布
阅读量2.5k 收藏 4
点赞数
分类专栏： HBase源码分析 文章标签： hbase 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiangel/article/details/53642516
版权
本文深入剖析了HBase Memstore的实现，包括数据存储在cellSet中，使用MSLAB解决内存碎片问题。详细阐述了flush的触发方式，如手动触发、自动触发（内存大小、全局内存比例等条件）。分析了flush处理流程的prepare、flush和commit三个阶段，以及split和compact的触发条件。最后，讨论了关键配置参数对性能的影响，建议合理配置以平衡读写操作并减少region中的ColumnFamily数量。
摘要由CSDN通过智能技术生成

memstore作为hbase数据写入的核心部分，保障了数据的高效的写入，那其具体是怎么实现的？使用了哪些优化的手段？有哪些关键要素可以控制写入的效率呢？下面我们先来分析一下memstore的实现

memstore中的数据存储

DefaultMemStore.java
// 2个存储数据的集合
volatile CellSkipListSet cellSet;
volatile CellSkipListSet snapshot;

cellSet:写入的数据都会存储在cellSet中，snapshot是在memstore做flush时才用到的，这个我们后续再说
我们先来看往memstore中添加数据的情况

public Pair<Long, Cell> add(Cell cell) {
  Cell toAdd = maybeCloneWithAllocator(cell);
  return new Pair<Long, Cell>(internalAdd(toAdd), toAdd);
}

这里使用到了一个叫MSLAB的机制，这个是用来解决HBase因 Region flush导致的内存碎片问题࿰

最低0.47元/天 解锁文章
xiangel
关注
专栏目录
HBase源码分析之MemStore的flush发起时机、判断条件等详情
辰辰爸的博客
03-01 5459
前面的几篇文章，我们详细介绍了HBase中HRegion上MemStore的flsuh流程，以及HRegionServer上MemStore的flush处理流程。那么，flush到底是在什么情况下触发的呢？本文我们将详细探究下HBase中MemStore的flush流程的发起时机，看看到底都有哪些操作，或者哪些后台服务进程会触发MemStore的flush。
HBase源码分析之HRegionServer上MemStore的flush处理流程（一）
辰辰爸的博客
02-29 3543
在《HBase源码分析之HRegion上MemStore的flsuh流程（一）》、《HBase源码分析之HRegion上MemStore的flsuh流程（二）》等文中，我们介绍了HRegion上Memstore flush的主体流程和主要细节。但是，HRegion只是HBase表中按照行的方向对一片连续的数据区域的抽象，它并不能对外提供单独的服务，供客户端或者HBase其它实体调用。而HRegion上MemStore的flush还是要通过HRegionServer来对外提供服务的。下面，我们就详细探究下HR
HBase源码分析
07-15
HBase源码分析，详细的源码分析，专业的知识分析，绝对难得
Hbase源码分析3-从Put到HFile
云计算?
07-26 122
Hbase插入数据的过程大致是： 客户端提交请求给region server（这中间会有作一些缓存） region server接收到请求，判断其实put请求，将其put到memstore 每次memstore的操作，都会检查memstore是否操作一个阈值，如果超过，就开始执行flush()，这个flush其实就是从内存中的KeyValue对持久化到HStore（也就是HFile）上面 好...
HBase 的 MemStore 详解
最新发布
goTsHgo的博客
09-30 1263
MemStore 是 HBase 的内存存储区域，它是一个负责缓存数据写入操作的组件。每当有写操作（如Put或Delete）发生时，数据会首先被写入到 MemStore 中，而不是直接写入磁盘。MemStore 类似于数据库中的缓冲区，主要用于提升写操作的性能。当 MemStore 达到一定的容量时，数据会被刷新（flush）到磁盘上，形成 HFile 文件存储在 HDFS 中。HBase 中的 MemStore 是一个核心的缓存机制，它通过缓存写操作来提升写性能，并在合适的时机将数据刷写到磁盘。
HBase 源码解析
weixin_34356138的博客
03-12 621
主题：HBase 源码解析 讲师：陆金所研发工程师--米麒麟 内容概要：1.HBase Read读流程源码解析2.HBase Write写流程源码解析 3.HBase Flush & Compact流程源码解析 PPT下载地址：https://yq.aliyun.com/download/3339 视频回看地址：https://yq.aliyu...
hbase源码分析
12-07
hbase源码分析，了解hbase原理和api的简单实用。
Hbase-memstore核心配置
hainansanyawang的博客
03-02 286
HBASE memstore相关配置及刷写条件
深入浅出系列Hbase之memstore flush、compaction
一亩三分地
06-25 458
Memstore Flush 介绍 Memstore Flush深度解析请阅读：http://hbasefly.com/2016/03/23/hbase-memstore-flush/ 触发条件 Compaction <!--ZooKeeper 会话超时。Hbase 把这个值传递改 zk 集群，向它推荐一个会话的最大超时时间 --> <property> <name&gt...
HBase源码分析与开发实战
09-09
HBase源码分析与开发实战视频技术讲解高阶视频教程以及课件，内部讲解资料 内容非常详细 值得想要提高薪水的人去学习了解
Hbase 源码分析——Server
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-14 213
Hbase是kv存储，但是逻辑上我们可以把存储在hbase上的kv数据当成表，rowkey可以认为是表的主键。为了便于分布式操作，hbase会把表横向切分成一块一块的数据，而每块就是一个Region。为了提供在线服务，我们必须把Region加载到集群中的某台机器上，这个加载的过程正是region assign要做的。顺便说一句，hbase中把表切分region和HDFS中文件切分成block，Sp...
hbase客户端源码分析
敲码的汉子
10-22 830
客户端版本1.2.x 下面是一段比较常见hbase客户端连接server查询的代码。 Connection connection = ConnectionFactory.createConnection(conf); HTable table=connection.getTable(TableName.valueOf("myTable"), Executors.newFixedThreadPool(10)); Result result = table.get(new Get("myRowKey".getB
Hbase 源码分析大纲
Jack Sparrow
12-12 451
计划开始写hbase源码分析系列文章     前言 源码的安装与调试   一、hbase 启动分析，及Jetty 服务器分析 二、hbase rpc机制分析 三、hbase WAL(Write Ahead Log)机制分析 四、 Hbase zookeeper 源码分析 五、hbase 客户端 源码分析 六、hbase regionserver 源码分析 七、 hbase S...
HBase源码分析（四） 2021SC@SDUSC
qq_45856546的博客
10-21 346
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、处理Scan的过程1.获得scanner id，签订租约Leases2. 扫描获取数据，签订租约Leases3. 再次请求，确认数据扫描已经完成二、使用步骤1.引入库2.读入数据总结 前言 一、处理Scan的过程 1.获得scanner id，签订租约Leases 代码中依靠scanner id来判断是否已经完成了第一阶段，如果没有完成，就查找到数据所在的Region，创建一个scanner，并把这个scanner
HBase数据达到Memstore的过程
孤落
04-21 370
往HBase表中写入数据的主要流程。 1 RegionServer启动的初始化工作 启动RegionServer进程的入口类是HRegionServer，通过执行该类的main方法开始。 其简单流程如下： //通过main方法的执行流程 //main() new HRegionServerCommandLine(regionServerClass).doMain(args); //doMain int ret = ToolRunner.run(HBaseConfiguration.create(), th
HBase架构解析：核心模块与工作流程
本文主要介绍了HBase架构的核心模块，包括HRegionServer、Client、Zookeeper以及Master，深入解析了HBase的工作流程和...HBase通过这种分布式架构和精心设计的数据处理流程，实现了大数据场景下的高性能和高可用性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值