Hbase学习笔记（四）——存储的三个机制（Flush、Compact、Split）

最新推荐文章于 2022-06-20 13:15:42 发布
最新推荐文章于 2022-06-20 13:15:42 发布
阅读量505 收藏 1
点赞数
分类专栏： Hbase 文章标签： Hbase 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AidenBrett7/article/details/103375218
版权
本文详细介绍了Hbase的三个关键存储机制：Flush、Compact和Split。Flush是在MemStore达到128MB或所有Memstore内存使用率达到40%时将数据异步写入HDFS。Compact通过合并小的Storefile以清理过期数据并减少文件数量，分为Minor和Major两种类型。Split则在region的Storefile大小达到10GB时进行，将region分裂为两个新的region。对于这些操作，建议在实际工作中适当调整阈值或手动执行以避免对业务造成影响。
摘要由CSDN通过智能技术生成

Hbase——存储的三个机制

一、Flush

当MemStore中的数据量达到阈值，就将数据Flush到HDFS中，以Storefile形式存储。

  • 触发条件：

  1. 当某个store中的memstore的存储达到 128M

    hbase.hregion.memstore.flush.size = 134217728

  2. 当整个region所使用的Memstore的内存大小达到阈值

    hbase.regionserver.global.memstore.upperLimit = 0.4
    这个参数的作用是当单个HRegion内所有的Memstore大小总和超过指定值时，flush该HRegion的所有memstore。RegionServer的flush是通过将请求添加一个队列，模拟生产消费模式来异步处理的。那这里就有一个问题，当队列来不及消费，产生大量积压请求时，可能会导致内存陡增，最坏的情况是触发OOM。

    hbase.regionserver.global.memstore.lowerLimit = 0.38
    当MemStore使用内存总量达到hbase.regionserver.global.memstore.lowerLimit指定值时，将会有多个MemStores flush到文件中，MemStore flush 顺序是按照大小降序执行的，直到刷新到MemStore使用内存略小于lowerLimit

最低0.47元/天 解锁文章
AidenBrett
关注
专栏目录
HBase-7 HBase的flush和compact
a3125504x的博客
07-05 701
HBase的flush和compactFlush和compact概念Flush触发条件memstore级别限制region级别限制Region Server级别限制Flush流程Compact合并机制minior compaction(小合并)major compaction(大合并) Flush和compact概念 flush可以简单的理解为将数据从内存落地到磁盘 从region级别的flush触发条件开始，一旦触发，就会flush所有memstore，这是不建议由很多列族的一个重要原因 在达到阻塞条
hbase学习笔记-flush、compact机制
陈同学
03-18 444
1 Flush机制 （1）当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M <property> <name>hbase.hregion.memstore.flush.size</name> <value>134217728</value> </property> （2）当memst...
关于hbase
huangzy1975的博客
02-01 177
为什么hbase在建立表时预先分配数个region？ 1)因为所有的数据都往一个region灌入，容易引起单节点负载升高，从而影响入库性能. 2)只有一个region随着数据量到达region的最大值，势必导致region分裂，造成系统负载过高，甚至服务停止。 hbase如何实现二级索引？ 使用solr/ES自己开发二级索引，使用Lily Hbase（solr+hbase）实现二级索引。
HBase学习笔记（四）——HBase的flush、compact机制
u011047968的专栏
06-20 1987
在HBase中数据被写入 WAL 和 MemStore 后就可以说数据已经被成功写入到 Hbase 了。MemStore 中的数据达到一定的阈值，会被 Flush 成 HDFS 中的 HFile 文件。但是随着 Flush 次数的不断增多，HFile 的文件数量也会不断增多。从多个 HFile 文件中读取记录，将导致更多的 IOPS，这会使得读取时延不断增大。 Compaction 可以将一些 HFile 文件合并成为较大的 HFile 文件，也可以把所有的 HFile 文件合并成为一个大的 HFi
Hbase的刷写和合并机制
weixin_42796403的博客
01-20 477
一、flush 1.1 flush作用 memstore 达到 flush条件时，memstore所有的数据会被排序，之后书写到storefile! HFile其中保存的数据都是有序的！ 作用： ①维持数据有序地存储到HFile中 ②将部分过期的数据，在刷写时删除。也就是在刷些时，每个store的storefile中最多保留VERSIOINS个版本的cell 1.2 MemStore刷写时机： 当某个memstore的大小达到了hbase.hregion.memstore.flush.size（默认
HBase学习笔记
太阳以西?的博客
08-12 463
Hbase 1、HBase简介 HBase基于 Google的BigTable论文而来，是一个分布式海量列式存储非关系型数据库系统，可以提供 超大规模数据集的实时随机读写。 1.1、什么是列式存储？ 先看常规的关系型数据库MySQL的存储机制：下面的空值字段浪费存储空间 id name age salary job 1 盖伦 22 无畏先锋军团长 2 嘉文 皇子 3 赵信 80 10w 如果使用列式存储 rowkey 列族 列标识符 列值 1 User
个人HBase学习笔记
yoyo940312的博客
04-17 512
HBase笔记 HBase简介 Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为其分布式协同服务。 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库） HBase数据模型 RowKey 是...
Hbase学习笔记(我太难了)
nj_hao的博客
07-21 274
什么是Hbase？ HBase是一个高可靠性，高性能，面向列，可伸缩式的分布式存储系统 HBase的目标是存储并处理大型的数据(具体说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据) Hbase特点 海量存储、 列式存储、 极易扩展( ​ 基于上层处理能力的扩展(RegionServer) ​ 基于存储的扩展(HDFS) ​ 通过横向添加RegionServer机器，进行水平扩展，进行Hbase上层处理能力，即提升Hbase服务更多Region的能力)、 高并发(指并发情况下，单个i
《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】
IT小王
06-25 1545
《HBase原理与实践》学习笔记 一、HBase概述 1.1 HBase数据模型 1.1.1 逻辑视图 table：表 row：行 column：列 timestamp：时间戳 cell：单元格 1.1.2 物理视图 HBase中的数据是按照列族存储的，即将数据按照列族分别存储在不同目录中。 1.2 HBase体系结构 1.2.1 Master 主要负责HBase系统的各种管理工作： 处理用户的各种管理请求，包括建表、修改表、权限操作、切分表、合并数据等。 管理集群中的RegionSerer，包括其
Apache HBase 三个重要机制 Flush Compact Split
大数据流浪法师的学习笔记与分享
12-16 361
Flush机制 1.（hbase.regionserver.global.memstore.size）默认;堆大小的40% regionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%, 而且regionserver级别的flush会阻塞客户端读写 2.（hbase.hregion.memstore.flush.size）默认：128M 单个r...
HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
热门推荐
牛_plus_plus的专栏
03-06 1万+
首先续上篇测试： 经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。 本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。 上篇测试内容： 详情　http://blog.csdn.net/kalaamong/article/details/72
hbase的读写机制详解，及flush参数的配置详解
maketubu7的博客
06-12 2607
1、hbase的读写流程图，是一个二次寻址的过程第一次直接到zookeeper中找到meta的元数据信息，即meta对应的储存其他所有用户表的regionserver的位置，示意图中所给出的为regionserver1，然后第二次直接到regionserver1中的meta.region查询对应的{namespace:table,rowkey,column_family,column}的位置，这个...
HBase进阶学习
M_Ene的学习日志
06-09 241
RegionServer架构 1）StoreFile 保存实际数据的物理文件，Store以Hfile的形式存储在HDFS上。每个Store都会有一个或者多个StoreFile（HFile），数据在每个StoreFile中都是有序的。 2）MemStore 写缓存，由于HFile中的数据要求室友虚的，所以数据是先存储在MemStore中，拍好序之后，等到达刷写时机才会刷写到Hfile，每次刷写都会形成一个新的HFile。 3）WAL 由于数据要经过MemStore排序之后才能刷写到HFile，但是把数据保存
非关系型分布式数据库系统HBase——(读写数据，flush及compact，拆分机制，预分区，Region合并)
qq_43408367的博客
09-02 312
但是这个阈值并不像ConstantSizeRegionSplitPolicy是一个固定的值，而是会在一定条件下不断调整，调整规则和region所属表在当前regionserver上的region个数有关系.与冷合并不同的是，online_merge的传参是Region的hash值，而Region的hash值就是Region名称的最后那段在两个.之间的字符串部分。HregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%把分区规则创建于文件中执行。
HBase(3)：内部机制flush & compact & split
小蚯蚓的博客
11-27 617
1.实现功能 当向hbase数据库中存储数据的时候，实际存储过程是有三个阶段：flush &amp; compact &amp; split。  2.分步说明 （1）flush        Client写入 -&gt; 存入MemStore，一直到MemStore满(Hlog)-&gt; Flush成一个StoreFile存储在HDFS上           （2）compact     ...
【Doris全面解析】存储层设计介绍3——读取流程、Compaction流程分析
ucanuup_的博客
10-12 1562
本文转自开源中国ZhangYu0123博客 ...
大数据——分布式数据库HBase
liuYLyl的博客
06-16 832
第一节. 概述 第二节. HBase访问接口 第三节.HBase数据模型 第四节. HBase的实现原理 第五节.HBase运行机制 第六节.应用方案 第七节.HBase编程实践 一、概述 1.简介 HBase是谷歌BigTable的开源实现。 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库。 HBase主要用来存储非结构化和半结构化的松散数据。 Hbase架构在HDFS之上，HDFS是存储完全非结构化数据 HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超
HBase之flush
weixin_44911106的博客
05-26 612
flush：将写缓存中的数据，上传到hdfs上，每次flush后，每个写缓存中的列族文件都会在hdfs上产生一个存储文件。 MemStore 刷写时机： 1.当某个 memstroe 的大小达到了 hbase.hregion.memstore.flush.size（默认值 128M）， 其所在 region 的所有 memstore 都会刷写。 当 memstore 的大小达到了 hbase.hregion.memstore.flush.size（默认值 128M） * hbase.hregion.mems
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值