HBase
天高地阔
这个作者很懒,什么都没留下…
展开
-
HBase笔记(一)-入门介绍
一、什么是HBaseHBase(Hadoop database)是一种构建在HDFS之上的分布式、面向列的和提供高可靠性、高性能、可伸缩、实时读写的开源数据库系统,在需要实时读写、随机访问超大规模数据集时,可以使用HBase。HBase的技术来源于Google论文”Bigtable:一个结构化数据的分布式存储系统”。HBase 是Bigtable 的开源实现,它利用Hadoop HDFS ...原创 2018-11-07 21:19:16 · 575 阅读 · 0 评论 -
HBase笔记(四)-数据读取过程(二)
简单地回顾一下scan的整个流程,如下图所示:上图是一个简单的示意图,本文将会关注于隐藏在这个示意图中的核心细节,这里笔者挑出了其中几个比较重要的问题来说明。1. 常说HBase数据读取要读Memstore、HFile和Blockcache,为什么上面Scanner只有StoreFileScanner和MemstoreScanner两种?没有BlockcacheScanner?HBas...转载 2018-11-18 21:39:40 · 1352 阅读 · 0 评论 -
HBase笔记(三)-数据读取过程(一)
HBase读数据是一个更加复杂的操作流程,这主要基于两个方面的原因:其一是因为整个HBase存储引擎基于LSM-Like树实现,因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件;其二是因为HBase中更新操作以及删除操作实现都很简单,更新操作并没有更新原有数据,而是使用时间戳属性实现了多版本。删除操作也并没有真正删除原有数据,只是插入了一条打上”deleted”标签的数据,而真正的...转载 2018-11-18 21:35:56 · 329 阅读 · 0 评论 -
HBase笔记(五)-数据写入流程
HBase默认适用于写多读少的应用,正是依赖于它相当出色的写入性能:一个100台RS的集群可以轻松地支撑每天10T的写入量。当然,为了支持更高吞吐量的写入,HBase还在不断地进行优化和修正,这篇文章结合0.98版本的源码全面地分析HBase的写入流程,全文分为三个部分,第一部分介绍客户端的写入流程,第二部分介绍服务器端的写入流程,最后再重点分析WAL的工作原理。客户端流程解析(1)用户提...转载 2018-11-18 21:40:42 · 250 阅读 · 0 评论 -
HBase笔记(二)-系统架构
下面是HBase的系统架构从上图可以看出:Client访问hbase上的数据的过程并不需要Master参与(寻址访问Zookeeper和Region Server,数据读写访问Region Server)。HMaster仅仅维护Table和Region的元数据信息,Table的元数据信息保存在Zookeeper上,负载很低。HRegion Server存取一个子表时,会创建一个HRegio...原创 2018-11-14 21:47:04 · 171 阅读 · 0 评论