HBase
文章平均质量分 83
RunningShare
这个作者很懒,什么都没留下…
展开
-
hbase行键过滤器RowFilter
RowFilter是用来对rowkey进行过滤的,比较符如下: Operator Description LESS 小于 LESS_OR_EQUAL 小于等于 EQUAL 等于 NOT_EQUAL 不等于 GREATER_OR_EQUAL 大于等于 .转载 2021-12-16 18:02:17 · 951 阅读 · 0 评论 -
HBase的master显示的注册上的RegionServer主机名和别名同时存在的问题
问题描述现象master的WebUI截图截图描述图中红色选中的部分为配置的RS机器的别名1.hbase-1.2.2/conf/regionservers中无论配置别名和配置主机名,master的webui中RegionServer的列表都同时存在别名和主机名的RS日志其中一个RegionServer的日志显示RegionServer注册的主机名和master给出的主机名不一致regionserver.HRegionServer: Master pas..原创 2020-08-20 17:48:48 · 1230 阅读 · 0 评论 -
HBase最佳实践-用好你的操作系统--swap是干嘛的?
swap是干嘛的?在Linux下,SWAP的作用类似Windows系统下的“虚拟内存”。当物理内存不足时,拿出部分硬盘空间当SWAP分区(虚拟成内存)使用,从而解决内存容量不足的情况。SWAP意思是交换,顾名思义,当某进程向OS请求内存发现不足时,OS会把内存中暂时不用的数据交换出去,放在SWAP分区中,这个过程称为SWAPOUT。当某进程又需要这些数据且OS发现还有空闲物理内存时,又会把SWAP分区中的数据交换回物理内存中,这个过程称为SWAPIN。当然,swap大小是有上限的,一旦swa..转载 2020-08-03 18:11:40 · 397 阅读 · 0 评论 -
HBase读取流程概述
1、根据rowkey定位到对应的RegionServer的目标region 1.1、通过客户端缓存的rowkey和RegionServer的映射信息定位目标RS和region 1.2、客户端找不到的话从zk上的/hbase-root/meta-region-server节点获取保存HBase元数据表hbase:meta所在的RegionServer 1.3、客户端与保存元数据的RS通讯,查找rowkey对应的RS和region信息 2、构造三层Scann...原创 2020-07-30 15:23:39 · 347 阅读 · 0 评论 -
HBase Scan流程分析
HBase Scan流程分析HBase的读流程目前看来比较复杂,主要由于:HBase的表数据分为多个层次,HRegion->HStore->[HFile,HFile,...,MemStore] RegionServer的LSM-Like存储引擎,不断flush产生新的HFile,同时产生新的MemStore用于后续数据写入,并且为了防止由于HFile过多而导致Scan时需要扫描的文件过多而导致的性能下降,后台线程会适时的进行Compaction,Compaction的过程会产生新的HF转载 2020-07-30 13:58:18 · 459 阅读 · 0 评论 -
HBase 是列式存储数据库吗
在介绍HBase是不是列式存储数据库之前,我们先来了解一下什么是行式数据库和列式数据库。行式数据库和列式数据库在维基百科里面,对行式数据库和列式数据库的定义为:列式数据库是以列相关存储架构进行数据存储的数据库,主要适合于批量数据处理(OLAP)和即时查询。相对应的是行式数据库,数据以行相关的存储体系架构进行空间分配,主要适合于小批量的数据处理,常用于联机事务型数据处理(OLTP)。比如我们有以下的表格:如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号..转载 2020-07-27 18:00:28 · 2669 阅读 · 0 评论 -
Hbase的原理之B+树和LSVM树的区别
目录共同点区别B+树LSVM(Log-Structured Merge Tree)实现原理LSVM树共同点都是底层数据存储的数据结构区别B+树通常用于数据库和操作系统的文件系统 插入和修改有较稳定的Logn时间复杂度 自底向上插入 寻道方式的磁盘使用LSVM(Log-Structured Merge Tree)用于为具有很高记录更新(插...原创 2019-07-24 10:34:01 · 757 阅读 · 0 评论 -
HBase Catalog Tables (region定位原理)
导读:0.96版本的hbase之前,在定位region时会使用-ROOT-和.META.表,hbase0.96版本后删除了root 表。咱们先分析hbase0.96版本之前的参考hbase官网0.94版本:Hbase Catalog Tables译自:-ROOT- HBase and.META. table structure在HBase中,大部分的操作都是在RegionServ...转载 2019-10-11 14:52:34 · 371 阅读 · 0 评论 -
HBase学习
1 摘要本文是一篇HBase学习综述,将会介绍HBase的特点、对比其他数据存储技术、架构、存储、数据结构、使用、过滤器等。关于Phoenix on HBase,即Sql化的HBase服务,可以参考Phoenix学习未完成2 HBase基础概念2.1 HBase是什么 起源 HBase源于Google 2005年的论文Bigtable。由Powerset公司在20...转载 2019-10-11 18:51:58 · 582 阅读 · 0 评论