HBase
薇安娜
这个作者很懒,什么都没留下…
展开
-
Hbase 之六 预分区与 rowKey 设计
前言 之前有讲到过 compaction 和 split 是 Hbase 在使用过程中维持查询效率的手段,那理所当然我们可以在使用前或者说表创建之时就用良好的设计来让 Hbase 保持好的性能,本篇就来浅谈一下 Hbase 表设计的两个点 预分区及 rowKey 设计。预分区预分区的作用 在 Hbase 中如果一个 region 的大小超过一定的阈值就会发生 split 的操作,这个过程会消耗大量的磁盘及网络 I/O,因此我们虽然需要 split 带来的稳定的查询性能但是又不希望花费 sp原创 2020-09-27 21:17:14 · 665 阅读 · 0 评论 -
HBase 之五 Coprocessor 协处理器及实现案例
背景 HBase 在作为大数据生态中的 Nosql 数据库有用非常多的优点,但是其也存在一定的缺陷例如无法简单的维护二级索引(本文会介绍及实现),求和、排序、计数等简单操作需要通过 Client 走速度较慢的 MapReduce,为了解决这些问题 HBase 提供了 Coprocessor 协处理器来让用户可以在 server 端运行自己的代码,从而可以在让用户轻松的维护二级索引,在server 端实现聚合操作等。本文基于 1.3.1 版本Hbase。协处理器分类Observer 这原创 2020-09-27 15:59:15 · 558 阅读 · 0 评论 -
Hbase 之四 Compaction & Split
前言 本篇是 HBase 相关内容的第四篇,上一篇我们整理了一下 HBase 的读写过程,这一篇继续来略微的探究一下 HBase 保存性能的关键 HFile Compaction 和 Region Split,文中如有错误欢迎指正,共同进步!HFile CompactionHFile Compaction 的作用 上一篇博客中有提到,HBase 的 MemStore 在满足一定的条件下会将内存中的数据刷写成 HFile,而一个 MemStore 刷写就会形成一个 HFile,随着时间原创 2020-09-26 22:28:21 · 454 阅读 · 0 评论 -
HBase 之三 HBase 的读写流程
前言 上一篇详细讲述了 HBase 的数据模型以及组织架构,这一篇就来讲讲 HBase 的读写流程,由于其依托于 Zookeeper 与 HDFS 因此其读写流程较为复杂,推荐先阅读HBase的数据模型与架构熟悉 HBase 的组织架构,然后再阅读本文会有更好的理解,如果文中有不正确的地方欢迎指出,一同进步!HBase 写流程 相比于读流程写流程更加复杂一些,因此我们先来讲解写流程。HBase 写流程总览 话不多说直接上图,HBase 总体写流程如下: 从图上可以看到原创 2020-09-25 17:01:10 · 291 阅读 · 0 评论 -
HBase 学习笔记之二 HBase的数据模型与架构
前言 上一篇讲述了 HBase 与 RDBMS 的区别,以及其解决了 RDBMS 的那些问题,这一篇详细讲述一下 HBase 的数据结构以及其组织架构HBase 数据模型Namespcae: 命名空间 ,类似于关系型数据库的 DatabBase 概念,每个命名空间下有多个表。 HBase 有两个自带的命名空间,分别是 hbase 和 default, hbase 中存放的是 HBase 内置的表,default 表是用户默认使用的命名空间。Region:RDBMS 中表的概念,或可进一步原创 2020-09-24 17:21:16 · 356 阅读 · 0 评论 -
HBase 学习笔记之一
写在前面 本系列是本人学习大数据生态中 HBase 相关内容的学习笔记会以实战和感想或者是理解的方式来整体相关内容,作为开篇我像先介绍一下 HBase 相关的背景以及其能够解决那些问题。HBase VS RDBMS HBase 全称 Hadoop Database,同样是 database 那不免就会将其和传统的 RDBMS 如 Mysql、Oracle 进行比较,两者的显著区别当然是 HBase 以 HDFS 为基础,而 RDBMS 则以计算器的文件系统为基础。除此之外更关键的是 HBas原创 2020-09-19 23:04:47 · 117 阅读 · 0 评论