
HBase
HBase分享
lightupworld
这个作者很懒,什么都没留下…
展开
-
HBbase原理与实践_读书笔记_第13章 HBase 系统调优
一级标题 二级标题 三级标题 四级标题 五级标题 六级标题 第13章 HBase 系统调优 13.1 HBase GC调优 todo 13.2 G1 GC性能调优 todo 13.3 HBase操作系统调优 todo 13.4 HBase—HDFS 调优策略 HDFS作为Hbase最终数据存储系统,对HDFS的相关优化也会影响HBase的读写性能。 这里主要关注一下三个方面 1.Shor-Circuit Local Read 当前HDFS 读取翻译 2020-06-04 11:12:09 · 506 阅读 · 0 评论 -
Hbase好文__结合源码讲解Region的三种Spilt策略
来源微信公众号:HBase工作笔记 结合源码讲解Region的三种Spilt策略 一、概述 最近在工作中接触到split,于是查看了这块的源代码,先看到了split的策略, HBase的版本为2.2.1, HBase-2.x支持7种Region自动拆分的策略,继承关系如下图所示: 二、针对这几种默认拆分策略做单独的说明 1.RegionSplitPolicy RegionSplitPolicy是一个抽象类,其作为所有Region拆分策略的父类。 在0.94版转载 2020-06-03 17:26:59 · 422 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第八章 负载均衡实现
第八章 负载均衡实现 数据库集群负载均衡的实现依赖于数据库的数据分片设计, 可以在一定程度上认为数据分片就是数据读写负载, 负载均衡功能就是数据分片在集群中均衡的实现。 Hbase中的数据分片的概念就是Region,本章将介绍Region迁移、合并、分裂等原理 8.1 Region迁移 分片迁移是最基础的核心功能,集群负载均衡、故障恢复等功能都是建立在分片的基础之上的。 Hbase的Region迁移是一个非常轻量级的操作,因为Hbase 的实际数据存储在HDFS上,不需要独立进行管翻译 2020-06-02 10:52:59 · 317 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第7章 Compaction实现
第7章 Compaction实现 7.1 Compaction基本工作原理 (1)合并原理 Compaction 是从一个Region的 一个Store中 选择部分HFile文件进行合并。 合并的原理是,先将这些待合并的数据文件中依次读取KeyValue,再由小到大排序后写入一个新的文件 (2)合并分类 根据合并规模将Compaction 分为两类: Minor Compaction 和 Major Compaction翻译 2020-05-27 18:33:46 · 183 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第六章 HBase读写流程
第六章 HBase读写流程 6.1HBase写流程 6.1.1写入流程的三个阶段 整体架构视角,写流程可分为三个阶段 (1)客户端处理阶段 客户端将用户的写入请求进行预处理,根据集群的元数据定位写入数据所在的RegionServer,将请求发送给对应的RegionServer。 ①步骤1 用户提交put请求,客户端先把写入的数据缓添加到本地缓存区(默认2M),超过阈值,异翻译 2020-05-20 18:56:43 · 342 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第五章 RegionServer的核心模板
《HBbase原理与实践》读书笔记 第五章 RegionServer的核心模板 RegionServer 是HBase 的最核心组件,主要负责 用户数据的读写等IO操作。 一个RS由默认由一个HLog、一个BlockCache 以及多个Region组成。 一个Region由一个 多个store 组成 (有多少column 就有多少 store) 一个store 由 一个MemStore 和 多个Hfile 组成, Hfile存放在HDFS上面 5.1 RegionServer的内部结构翻译 2020-05-14 22:24:05 · 235 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第1章 HBase概述
《HBbase原理与实践》读书笔记 第一章 HBase概述 1.1 HBase前生今世 1.google 的 三篇论文 GFS - HDFS MapReduce - MapReduce BigTable - Hbase 2.0.98版本 Hbase历史上最稳定的版本 1.2 HBase数据模型 sparse, distributed,persistent multidimensional sorted map 稀疏的翻译 2020-05-14 15:46:58 · 343 阅读 · 0 评论