HBase
文章平均质量分 56
HBase学习记录
默默走开
待我荣耀归来,我娶你可好?
展开
-
【HBase】HBase入门详解(五)
(图片来源于网络,侵删)一、Master、RegionServer的上下线以及Region的管理Master上线1) 从Zookeeper上获取唯一一个代表Active Master的锁,用来阻止其他Master成为真正的Master2) 扫描Zookeeper上的/hbase/rs节点,获取当前可用的Region server列表3) 和每个RegionServer通信,获得当...原创 2020-04-19 20:18:02 · 4242 阅读 · 2 评论 -
【HBase】HBase入门详解(四)
(图片来源于网络,侵删)一、过滤器【1】概述基础API中的查询操作在面对大量数据的时候是非常苍白的,这里HBase提供了高级的查询方法:FilterFilter可以根据列簇、列、版本等更多的条件来对数据进行过滤,基于HBase本身提供的三维有序(主键有序、列有序、版本有序),这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到...原创 2020-04-19 18:06:12 · 5101 阅读 · 0 评论 -
【HBase】HBase入门详解(二)
(图片来源于网络,侵删)一、HBASE集群安装前提:Hadoop集群要启动正常,Zookeeper集群启动正常【1】解压tar包tar -zxf hbase-1.2.0-cdh5.14.0.tar.gz ../servers/hbase【2】配置环境变量(根据自己环境配置)vim /etc/profile.d/hbase.shexport HBASE_HOME=/ex...原创 2020-04-19 16:01:29 · 5886 阅读 · 9 评论 -
【Hbase】RegionServer宕机数据恢复
转载自 http://hbasefly.com/2016/03/23/hbase_writer/请多多支持原作者! HLog简介 为了更好的理解HBase故障恢复原理,需要对HLog有简单的认识。HLog的整个生命历程可以使用下面一张图来表示: 1. HLog构建:详见另一篇博文《HBase-数据写入流程解析》中相关章节,此处再将HLog的结构示意图拿出来:...转载 2019-12-13 22:58:44 · 5331 阅读 · 0 评论 -
【Hbase】数据读取流程解析
转载至 http://hbasefly.com/2016/12/21/hbase-getorscan/请多多支持原作者!!HBase原理-数据读取流程解析和写流程相比,HBase读数据是一个更加复杂的操作流程,这主要基于两个方面的原因:其一是因为整个HBase存储引擎基于LSM-Like树实现,因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件;其二是因为HBase中更新操作以...转载 2019-12-15 19:05:32 · 5431 阅读 · 0 评论 -
【HBase】使用报错记录
具体报错信息如下:原因:大概是因为JDK版本问题,修改IDEA中的版本原创 2019-12-17 16:51:11 · 5359 阅读 · 1 评论 -
【HBase】HBase入门详解(三)
1、flush机制1)【hbase.regionserver.global.memstore.size】默认;堆大小的40%RegionServer的全局Memstore的大小,超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且RegionServer级别的flush会阻塞客户端读写2)【hbase.hregion.memstore.flush.size】默认:128...原创 2019-12-20 08:55:20 · 5410 阅读 · 0 评论 -
【HBase】HBase入门详解(一)
1.HBase简介1.1 什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBASE是Google Bigtable的开源实现,但是也有很多不同之...原创 2019-11-30 12:55:55 · 13474 阅读 · 11 评论