HBase
HBase分享
lightupworld
这个作者很懒,什么都没留下…
展开
-
HBbase原理与实践_读书笔记_第13章 HBase 系统调优
一级标题二级标题三级标题四级标题五级标题六级标题第13章 HBase 系统调优13.1 HBase GC调优 todo13.2 G1 GC性能调优 todo13.3 HBase操作系统调优 todo13.4 HBase—HDFS 调优策略 HDFS作为Hbase最终数据存储系统,对HDFS的相关优化也会影响HBase的读写性能。 这里主要关注一下三个方面1.Shor-Circuit Local Read 当前HDFS 读取翻译 2020-06-04 11:12:09 · 484 阅读 · 0 评论 -
Hbase好文__结合源码讲解Region的三种Spilt策略
来源微信公众号:HBase工作笔记结合源码讲解Region的三种Spilt策略一、概述 最近在工作中接触到split,于是查看了这块的源代码,先看到了split的策略, HBase的版本为2.2.1, HBase-2.x支持7种Region自动拆分的策略,继承关系如下图所示:二、针对这几种默认拆分策略做单独的说明1.RegionSplitPolicy RegionSplitPolicy是一个抽象类,其作为所有Region拆分策略的父类。 在0.94版转载 2020-06-03 17:26:59 · 332 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第八章 负载均衡实现
第八章 负载均衡实现数据库集群负载均衡的实现依赖于数据库的数据分片设计,可以在一定程度上认为数据分片就是数据读写负载,负载均衡功能就是数据分片在集群中均衡的实现。Hbase中的数据分片的概念就是Region,本章将介绍Region迁移、合并、分裂等原理8.1 Region迁移 分片迁移是最基础的核心功能,集群负载均衡、故障恢复等功能都是建立在分片的基础之上的。 Hbase的Region迁移是一个非常轻量级的操作,因为Hbase 的实际数据存储在HDFS上,不需要独立进行管翻译 2020-06-02 10:52:59 · 289 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第7章 Compaction实现
第7章 Compaction实现7.1 Compaction基本工作原理 (1)合并原理 Compaction 是从一个Region的 一个Store中 选择部分HFile文件进行合并。 合并的原理是,先将这些待合并的数据文件中依次读取KeyValue,再由小到大排序后写入一个新的文件 (2)合并分类 根据合并规模将Compaction 分为两类: Minor Compaction 和 Major Compaction翻译 2020-05-27 18:33:46 · 168 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第六章 HBase读写流程
第六章 HBase读写流程6.1HBase写流程6.1.1写入流程的三个阶段 整体架构视角,写流程可分为三个阶段 (1)客户端处理阶段 客户端将用户的写入请求进行预处理,根据集群的元数据定位写入数据所在的RegionServer,将请求发送给对应的RegionServer。 ①步骤1 用户提交put请求,客户端先把写入的数据缓添加到本地缓存区(默认2M),超过阈值,异翻译 2020-05-20 18:56:43 · 314 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第五章 RegionServer的核心模板
《HBbase原理与实践》读书笔记第五章 RegionServer的核心模板RegionServer 是HBase 的最核心组件,主要负责 用户数据的读写等IO操作。一个RS由默认由一个HLog、一个BlockCache 以及多个Region组成。 一个Region由一个 多个store 组成 (有多少column 就有多少 store)一个store 由 一个MemStore 和 多个Hfile 组成, Hfile存放在HDFS上面5.1 RegionServer的内部结构翻译 2020-05-14 22:24:05 · 205 阅读 · 0 评论 -
HBbase原理与实践_读书笔记_第1章 HBase概述
《HBbase原理与实践》读书笔记第一章 HBase概述1.1 HBase前生今世 1.google 的 三篇论文 GFS - HDFS MapReduce - MapReduce BigTable - Hbase 2.0.98版本 Hbase历史上最稳定的版本1.2 HBase数据模型 sparse, distributed,persistent multidimensional sorted map 稀疏的翻译 2020-05-14 15:46:58 · 316 阅读 · 0 评论