hbase
文章平均质量分 88
波逐流
这个作者很懒,什么都没留下…
展开
-
HBase之rowkey设计原则和方法
rowkey设计原则和方法rowkey设计首先应当遵循三大原则:rowkey长度原则rowkey是一个二进制码流,可以为任意字符串,最大长度为64kb,实际应用中一般为10-100bytes,它以byte[]形式保存,一般设定成定长。一般越短越好,不要超过16个字节,注意原因如下:1、目前操作系统都是64位系统,内存8字节对齐,控制在16字节,8字节的整数倍利用了操作系统的最佳特性。2、hbase...原创 2018-06-30 10:53:20 · 30592 阅读 · 2 评论 -
hbase之原理详解
1、hbase的架构首先我们介绍hbase的架构如图所示,hbase的最底层结构是基于hdfs的,它将自己的日志文件`hlog`,以及数据表`Region`存储在hdfs的datanode当中。而管理hbase的主要是zookeeper和master。其中,hbase主要依靠zookeeper管理,master仅仅负责当启动hbase时,分配区域到指定区域服务器。当hbase启动以后master几...原创 2018-07-01 10:05:08 · 380 阅读 · 0 评论 -
hbase之布隆过滤器
一、布隆过滤器布隆过滤器(Bloom Filter)是1970由布隆提出的。通过一个很长的二进制向量于一系列随即哈希函数生成。下面我就将通过以下小节来介绍布隆过滤器:1、原因与结构解析2、数学公式1.1 原因与结构解析首先,我们应当知道,hash是内存中使用的经典数据结构。当我们需要判读一个元素是否在一个集合当中时,我们可以用哈希表来判断。在集合较小的情况下,hash是可行而且高效的。然而数据量以...原创 2018-07-05 09:46:12 · 9631 阅读 · 4 评论