![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 59
HBase的核心原理、优化...
我有一个大厂梦
Actions speak louder than words
展开
-
HBase MemStore GC问题、MSLAB内存管理模式、MemStore ChunkPool
一、问题分析 核心:HBase是使用Java语言开发的,所以需要依赖于JVM。 HBase的MemStore本质上是一块缓存,这就会面临Java的GC问题,在数据写入MemStore时,写入数据会产生内存碎片。并且RegionServer由多个Region组成,每一个Region根据列簇的个数多少具有相同数量的MemStore,MemStore的数据会混合在一起写入堆内存中(堆内存是共享的)。 二、过程分析 上图中不同颜色方块表示4个Region 白色方块为可分配空间 当Region3执行flush操作原创 2021-12-17 21:46:21 · 2801 阅读 · 0 评论 -
HDFS中Locality 为什么介于0~1之间?与HBase之间有什么关系?
一、Locality Locality是HDFS中的一个概念(在后文中进行了解释),Locality的数值可以明显反映出HBase在某些环境下的性能大小 在环境部署时,DataNode消耗内存、CPU资源较少。而HBase的RegionServer消耗内存和CPU资源较多,所以我们可以把DataNode与RegionServer部署在同一机器上 此时Locality就与HBase密切相关了 对于DFSClient客户端来说,一个文件在这台机器上的Locality 可以定义为: Locality =该文件存原创 2021-12-14 22:32:26 · 1947 阅读 · 0 评论