![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
文章平均质量分 79
ldd儆儆
这个作者很懒,什么都没留下…
展开
-
HFile的合并
一.之前说到了BlockBache的优化以及MemStore的优化这篇文章主要介绍一下HFIle的合并我们首先要明白的是,为什么HFile要进行合并?1.StoreFile是HFile的抽象,MemStore的每一次刷写都会产生一个HFile,如果HFile数量过多会产生什么问题?读取速度下降,因为读取数据涉及到一个操作:寻址如果是传统硬盘那就是磁头的移动。寻址,这是一个很慢的动作。当H...原创 2019-11-14 19:40:26 · 1383 阅读 · 0 评论 -
MemStore的优化
1.前言之前说到了BlockBache的优化不过再生产环境中BlockBache优化一般用得比较少,使用默认的即可,除非GC真出现问题了。但是对于MemStore的优化,是使用的比较多的。我们首先要知道一个数据要是想要真正被持久化到硬盘上,MemStore必须被刷写到磁盘上。对于数据而言,有的数据可能是没有被持久化,在MemStore上,有的已经持久化在Hfile上,因此所有数据 = M...原创 2019-11-11 20:38:21 · 520 阅读 · 0 评论 -
BlockCache的优化
一.简单介绍1.在以前学习Hbase的时候,对BlockCache几乎是没有听说过,不过它也是比较重要的hbase的一部分,有些在生产环境中的性能问题,都是靠优化BlockCache来解决的。2.首先我们要知道一个RegionServer只有一个BlockCache。我们根据其单词名称可以判断是以恶搞块缓存,而往往缓存都是和内存有关,有了这些,接下来就好懂了。3.BlockCache知识用于...原创 2019-11-08 20:03:51 · 847 阅读 · 0 评论 -
Region拆分与合并
我们都知道,Hbase的region是表的一部分,当表比较大的时候,如果还是一个Region的话,会怎样呢?当我们读取数据的时候是不是效率比较低呢?因此,我们必须对Region进行合理拆分,这也是优化性能的一部分吧。Region拆分分为两种自动拆分和手动拆分1.自动拆分1.1.ConstantSizeRegionSplitPolicy顾名思义,不变大小region拆分策略,就是按照...原创 2019-11-07 20:58:07 · 1513 阅读 · 0 评论 -
Hbase Java API
1.创建表public static void createSchemaTables(Configuration configuration) throws IOException { Connection conn = ConnectionFactory.createConnection(configuration); Admin admin = conn.getAdmin(...原创 2019-11-06 19:37:05 · 351 阅读 · 1 评论 -
Hbase常用shell命令
1.list 查看库里所有的表hbase(main):009:0> listTABLE ...原创 2019-11-05 17:34:18 · 792 阅读 · 0 评论