HBase总结
Fys506
Hello World !
展开
-
HBase系统架构(部署架构)
简单了解了HBase的基本概念之后,在接下来的安装部署HBase之前,首先要对HBase的体系结构进行了解。ClientHBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信对于管理类操作,Client与HMaster进行RPC;对于数据读写类操作,Client与HRegionServer进行RPCZookeeperHBase整体十分依...原创 2019-03-10 16:07:13 · 922 阅读 · 0 评论 -
HBase初识(简介)
1.什么是HBase2.HBase产生背景3.HBase和传统数据库的对比4.HBase优缺点5.HBase适用场景6.HBase的优势原创 2019-03-10 16:26:52 · 241 阅读 · 0 评论 -
深入理解HBase存储结构
HBASE是一个高可靠性、高性能、面向列、可伸缩、实时读取的分布式存储系统数据库,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase介于nosql(非关系型数据库)和RDBMS(关系型数据库管理系统)之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的...原创 2019-03-10 17:11:27 · 13713 阅读 · 0 评论 -
HBase预写日志WAL机制
预写日志(Write-ahead log,WAL)最重要的作用是灾难恢复,一旦服务器崩溃,通过重放log,我们可以恢复崩溃之前的数据。如果写入WAL失败,整个操作也将认为失败。从上图看:1 客户端对数据执行一个修改操作,如put(),delete(),incr()等。2 每一个修改被封装到一个KeyValue对象实例,并通过RPC调用发送出来。3 上述调用成批地发送给含有匹配regio...原创 2019-03-10 17:28:17 · 4978 阅读 · 0 评论 -
LSM树设计原理详解
代表数据库:nessDB、leveldb、hbase等核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在内存中,等到积累到最后多之后,再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的,...转载 2019-03-10 19:50:57 · 4332 阅读 · 0 评论 -
HBase中设计MemStore的原因
MemStore数据被写入WAL之后就会被加载到MemStore中去。MemStore的大小增加到超过一定阀值的时候就会被刷写到HDFS上,以HFile的形式被持久化起来设计MemStore的原因:1.由于HDFS上的文件不可修改,为了让数据顺序存储从而提高读取效率,HBase使用了LSM树结构来存储数据。数据会先在Memstore中整理成LSM树,最后再刷写到HFile上。2.优化数据...原创 2019-03-10 20:01:54 · 456 阅读 · 0 评论 -
HBase查询机制--Region定位
旧版本:region是HBase架构的关键,大部分的工作都围绕着region展开。在0.96.0版本之前,region的查询通过三层架构来定位:Region:就是所需要查询的数据具体所在的Region.META. :元数据表,存储了所有region的简要信息。.META.表中的一行记录就是一个Region,该行记录了该Region的起始行,结束行,和该Region的连接信息,这样客户端就可以...原创 2019-03-12 19:44:59 · 3378 阅读 · 0 评论