hbase
docsz
擅长大数据平台架构,数仓设计,数据湖落地;构建企业级数据平台
展开
-
Hbase基础
1:hbase概念1.1:tabletablecolumnfamily -列簇column01,column02,… -列rowkey -主键,每一条数据唯一的标识符面向列的数据库,插入数据时:rowkkey + columnfamily + column + timestame : value —>统称为cell(单元)1.2:rowkey:表中每行记录的主键,为了方便...原创 2020-03-11 23:34:28 · 468 阅读 · 0 评论 -
HDP3.1中Hbase的MemStore Flush
一:Hbase Memstore FlushHbase中,Region时集群节点上最小的数据存储单元,用户数据表由一个或多个Region组成。在Region中,每个ColumnFamily(列簇)的数据组成一个Store。每个Store由一个或多个StoreFile实例,StoreFile是对存储数据文件(HFile)的轻量级封装。一个Store还有一个MemStore。每一个HRegion...原创 2020-03-11 14:34:13 · 372 阅读 · 0 评论 -
Hhase优化之降低IO
1:Hbase表如何设计1.1:优化手段:适当增加列簇个数,一起读写的列放在一个列簇。优化原理:family多,获取单个cell数据时就不会去扫描同一rowkey的所有数据(按列簇存储),明显降低IO。使用场景:a、读多写少(family反而增加写的开销,甚至带来过多的split);b、经常是某些字段一起读(有规律的);c、内存充裕,每个region的每个family对应一个stor...原创 2020-03-10 23:32:50 · 343 阅读 · 0 评论