HBase
文章平均质量分 76
大数据老人家i
大数据应用开发
展开
-
Phoenix二级索引
文章目录全局索引覆盖索引本地索引函数索引(了解)概念在Hbase索引(一级索引)的基础上再构建一级索引功能在Hbase中使用Rowkey作为唯一索引,无法满足大部分的查询走索引,导致性能较差通过构建二级索引,用走两次索引代替全表扫描实现hoenix底层构建了大量的协处理器,来实现二级索引的构建根据数据存储需求,创建原始数据表,将数据写入原始数据表rowkey:id name age根据数据查询需求,构建二级索引,Phoenix自动创建索引表create index原创 2021-03-25 00:18:48 · 282 阅读 · 0 评论 -
Phoenix Shell 操作
文章目录DDLDMLDQL分页查询预分区表加盐指定数量分区案例DDL创建表CREATE TABLE IF NOT EXISTS 表名 ( ROWKEY名称 数据类型 PRIMARY KEY 列蔟名.列名1 数据类型 NOT NULL, 列蔟名.列名2 数据类型 NOT NULL, 列蔟名.列名3 数据类型);注:查看表!desc 表名删除表drop table if exists 表名;DML插入数据在Phoenix中,插入并不是使用insert来实现的。而是 「u原创 2021-03-24 21:23:38 · 344 阅读 · 0 评论 -
Phoenix概述及其安装部署
文章目录概述安装部署概述概念Phoenix是一种提供SQL查询,将SQL转化为JavaAPI来操作Hbase的工具功能专门基于Hbase所涉及的SQL on Hbase 工具使用Phoenix实现基于SQL操作Hbase使用Phoenix自动构建二级索引并维护二级索引原理上层提供SQL接口底层全部通过Hbase Java API来实现,通过构建一系列的Scan和Put来实现数据的读写功能非常丰富底层封装了大量的内置的协处理器,可以实现各种复杂的处理需求,例如二级索引原创 2021-03-24 08:07:41 · 194 阅读 · 0 评论 -
HBase命名空间
概述在一个项目中,需要使用HBase保存多张表,这些表会按照业务域来划分为了方便管理,不同的业务域以名称空间(namespace)来划分,这样管理起来会更加容易类似于Hive中的数据库,不同的数据库下可以放不同类型的表Hbase中有两个默认的命名空间:default,默认情况下,创建表时表都将创建在 default 名称空间下hbase,用于存放系统的内建表(namespace、meta)命令# 一、命名空间# 1.创建一个命名空间create_namespace 'MOMO_CH原创 2021-01-29 22:12:54 · 730 阅读 · 0 评论 -
HBase架构
文章目录系统架构ReginServer结构模型系统架构Client客户端,例如:发出HBase操作的请求。例如:之前我们编写的Java API代码、以及HBase shell,都是CLientMaster Server在HBase的Web UI中,可以查看到Master的位置。通过Zookeeper发布自己的位置信息给客户端监控ReginServer处理ReginServer故障转移处理Regin的分配或移除处理元数据在空闲时间进行数据的负载均衡Region S原创 2021-01-22 11:20:49 · 231 阅读 · 2 评论 -
HBase高可用
文章目录引言HBase高可用简介搭建HBase高可用引言考虑关于HBase集群的一个问题,在当前的HBase集群中,只有一个Master,一旦Master出现故障,将会导致HBase不再可用。所以,在实际的生产环境中,是非常有必要搭建一个高可用的HBase集群的。HBase高可用简介HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用,只需要再选择一个节点作为HMaster,在HBase的conf目录下创建文件backup-masters,然后再backup-masters原创 2021-01-21 18:06:38 · 278 阅读 · 0 评论 -
Hbase概述及其安装部署
文章目录概述基本概念Hbase与Hadoop的关系HDFSHbaseRDBMS(关系型数据库)与HBase的对比关系型数据库HbaseHBase特征安装部署概述基本概念hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql(非关系型数据库)的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range(范围)来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用原创 2021-01-12 21:13:39 · 395 阅读 · 1 评论 -
Region管理
文章目录Region分配Region Server上线Region Server下线Region分裂自动分区手动分区Region分配任何时刻,一个region只能分配给一个region serverMaster记录了当前有哪些可用的region server,以及当前哪些region分配给了哪些region server,哪些region还没有分配。当需要分配的新的region,并且有一个region server上有可用空间时,master就给这个region server发送一个装载请求,把re原创 2021-02-11 21:52:02 · 470 阅读 · 0 评论 -
HBase读写流程详解
文章目录读数据流程写数据流程读数据流程客户端从Zookeeper中获取存储Mata表的Region位置信息,然后读取该位置里Mata表的数据根据namespace、表名、rowkey从mata表中获取对应的RegionServer、Region位置信息找到对应的RegionServer、Region从对应的Region中的MemStore找数据,再去BlockCache中找,如果没有,再到StoreFile上找最后RegionServer把读取到的数据响应给客户端写数据流程1-3点与原创 2021-02-11 16:32:56 · 266 阅读 · 0 评论 -
HBase表结构设计
文章目录命名空间概念语法列簇设计版本设计数据压缩压缩算法查看表数据压缩方式设置数据压缩ROWKEY设计原则HBase官方的设计原则避免数据热点命名空间概念在HBase有很多张表,这些表需要按照业务划分开,为方便管理这些表,不同业务就有不同的名称空间,类似Hive中的数据库,不同的数据库用来存储不同类型的表。注:HBase默认的名称空间是「default」,默认情况下,创建表时表都将创建在 default 名称空间下HBase中还有一个命名空间「hbase」,用于存放系统的内建表(namesp原创 2021-02-10 15:29:14 · 793 阅读 · 0 评论