HBASE
文章平均质量分 69
一个尚在学习的计算机小白
这个作者很懒,什么都没留下…
展开
-
非关系型数据库简答题
描述HBase有哪些特性,解释说明。HBase数据库写入数据的流程。HBase数据库读取数据的流程。HBase集群都有哪些组件?写出各自的功能HBase与HDFS的关系,HFile文件过多对集群有什么影响?如何解决?简单描述对应的方法及如何权衡写出MongoDB副本集的工作流程及复制的目的。工作流程:备份节点定期轮询主节点上的数据操作,然后对自己的数据副本进行这些操作,从而保证跟主节点的数据同步复制的目的:Failover(故障转移,故障恢复)Redundancy(..原创 2021-12-16 08:57:26 · 1384 阅读 · 0 评论 -
Region/Store/StoreFile/Hfile之间的关系
Regiontable在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元,即不同的region可以分别在不同的Region Server上,但同一个Region是不会拆分到多个server上。Region按大小分隔,表中每一行只能属于一个region。随着数据不断插入表,region不断增大,当region的某个列族达到一个阈值(默认256M)时就会分成两个新的region。Store每一个region有一个或多个store组成,至少是一个store.原创 2021-12-12 16:06:26 · 609 阅读 · 0 评论 -
Region管理
目录HFile合并Minor合并Major合并2.2 Region拆分Region合并Region负载均衡HFile合并写入的数据首先放入MemStore当MemStore满了以后会Flush到一个StoreFile (底层是HFile)当StoreFile文件数量增长到一定阈值,会触发Compaction合并操作。HFile的合并:Minor合并 & Major合并这两种合并都发生在Store内部,不是Region的合并。Minor合并Minor合并,在Store内部,原创 2021-12-12 15:58:30 · 1652 阅读 · 0 评论 -
HBASE写流程
目录regionMETA表MemStorestoreHFileHBase写文件流程读流程region当Region服务器收到写请求的时候,Region服务器会将请求转至相应的Region。数据写入到MemstoreMemstore到达一定的阀值的时候,完成对数据的排序按照顺序将Memstore中的数据持久化到HFile中META表为了定位每个Region所在的位置,就可以构建一张映射表,映射表的每行包含两项内容,一个是Region标识,一个是RegionServer标识等信息,这行就表示R原创 2021-12-12 15:41:56 · 1078 阅读 · 0 评论 -
HBASE组件和功能
目录架构原理架构原理Master用于管理表Regionserver管理数据Hlog预写入日志store管理列族zk用于和客户端交互Client客户端:HBase系统的入口:客户端用来操作HBase数据库通信功能:与HMaster进行管理类通信,与Regionserver进行数据读写类通信Zookeeper主要用来解决分布式应用中经常遇到的数据管理的问题在HBase中协调的任务:HMaster选举,系统容错,Region元数据管理,记录HMaster/HRegionServer节原创 2021-12-12 15:17:23 · 1277 阅读 · 0 评论 -
HBASE的shell操作
进入HBASE客户端命令行hbase shell查看帮助help表操作查看表listdescribe 'stu'注:list不能查看系统表,返回结果会指明表所在的命名空间,没有指明则在默认命名空间default下describe用于查看指定表的详细信息创建一个表create 'stu','info'注:stu为表名,info为列族名,列族可有多个,至少有一个修改表alter 'stu',{Name=>'info',version=>3}注:修改表修改的是列原创 2021-12-11 19:45:50 · 447 阅读 · 0 评论 -
HBASE简介
目录HBase定义HBase的特性数据模型逻辑结构物理存储基本架构HBase定义Base是一种开源的分布式,可扩展、支持海量数据存储的NoSQL 数据库。HBase的特性容量巨大列存储稀疏性扩展性高可靠性数据模型逻辑上,HBase的数据模型同关系型数据库很类似,数据仔储在一张表中,有行有列。但从HBase 的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map。逻辑结构row key是有序的,按位比较。(有>无)region是表的原创 2021-12-11 16:46:59 · 116 阅读 · 0 评论