![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
JeitZz
这个作者很懒,什么都没留下…
展开
-
大数据之HBASE的rowKey设计原则
大数据之HBASE的rowKey设计原则 1.长度原则 Rowkey是一个二进制码流,Rowkey的长度被很多开发者建议说设计在10~100个字节,不过建议是越短越好,不要超过16个字节。 原因如下: (1)数据的持久化文件HFile中是按照KeyValue存储的,如果Rowkey过长比如100个字节,1000万列数据光Rowkey就要占用100*1000万=10亿个字节,将近1G数据,这会极大影响HFile的存储效率; (2)MemStore将缓存部分数据到内存,如果Rowkey字段过长内存的有效利用率会原创 2021-06-17 21:18:36 · 213 阅读 · 1 评论 -
大数据之HBase的读写流程
大数据之HBase的读写流程 写流程 图示 过程 1. HBase使用memstore和storefile存储对表的更新。数据在更新时首先写入hlog和memstore,memstore中的数据是排序的,当memstore累计到一定的阀值时,就会创建一个新的memstore,并将老的memstore添加到flush队列,由单独的线程flush到磁盘上,成为一个filestore。与此同时,系统会在zookeeper中记录一个checkpoint,表示这个时刻之前的数据变更已经持久化了。当系统出现意外时,可原创 2021-06-07 20:36:27 · 319 阅读 · 3 评论 -
大数据之Hbase认知
HBASE介绍 HBase定义 HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库) HBase特性 - HBase的表模型与关系型数据库的表模型不同: - HBase的表没有固定的字段定义; - HBase的表中每行存储的都是一些key-value对 - HBase的表中有列簇的划分,用户可以指定将哪些kv插入哪个列族 - HBase的表在物理存储上,是按照列簇来分割的,不原创 2021-06-04 21:28:56 · 127 阅读 · 2 评论