HBase
文章平均质量分 90
分布式列簇存储HBase
Keven He
一个热爱技术的大数据开发者
展开
-
HBase RowKey设计和实现
HBase由于存储特性和读写性能,在OLAP即时分析中发挥重要作用,Rowkey的设计好坏关乎到HBase的使用情况。我们知道HBase中定位一条数据需要四个维度的限制:RowKey,Column Family,Column Qualifier,Timestamp。RowKey是其中最容易出错的,不仅需要根据业务和查询需求来设计,还有很多地方需要关注。原创 2023-01-15 23:45:03 · 2480 阅读 · 1 评论 -
Spring/Spring Boot 整合 Mybatis + Phoenix
一、前言使用 Spring+Mybatis 操作 Phoenix 和操作其他的关系型数据库(如 Mysql,Oracle)在配置上是基本相同的二、Spring + Mybatis + Phoenix2.1 项目结构2.2 主要依赖除了 Spring 相关依赖外,还需要导入 phoenix-core 和对应的 Mybatis 依赖包<!--mybatis 依赖包--><dependency> <groupId>org.mybatis</grou原创 2022-06-01 10:58:45 · 1165 阅读 · 0 评论 -
HBase 过滤器使用
一、HBase过滤器简介Hbase 提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以保证过滤掉的数据不会被传送到客户端,从而减轻网络传输和客户端处理的压力。二、过滤器基础2.1 Filter接口和FilterBase抽象类Filter 接口中定义了过滤器的基本方法,FilterBase 抽象类实现了 Filter 接口。所有内置的过滤器则直接或者原创 2022-06-01 10:58:19 · 703 阅读 · 0 评论 -
HBase Java API 的基本使用
一、简述截至到目前 (2019.04),HBase 有两个主要的版本,分别是 1.x 和 2.x ,两个版本的 Java API 有所不同,1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。同时你使用的客户端的版本必须与服务端版本保持一致,如果用 2.x 版本的客户端代码去连接 1.x 版本的服务端,会抛出 NoSuchColumnFamilyException 等异常。二、Java API 1.x 基本使用2.1 新建Maven工程,导入项目依赖要使用 Java API 操原创 2022-05-31 18:29:45 · 577 阅读 · 0 评论 -
Hbase 常用 Shell 命令
一、基本命令打开 Hbase Shell:# hbase shell1.1 获取帮助# 获取帮助help# 获取命令的详细信息help 'status'1.2 查看服务器状态status1.3 查看版本信息version二、关于表的操作2.1 查看所有表list2.2 创建表命令格式: create ‘表名称’, ‘列族名称 1’,‘列族名称 2’,‘列名称 N’# 创建一张名为Student的表,包含基本信息(baseInfo)、学校信息(schoolInfo)原创 2022-05-31 18:09:14 · 10730 阅读 · 0 评论 -
HBase集群环境配置
一、集群规划这里搭建一个 3 节点的 HBase 集群,其中三台主机上均为 Region Server。同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop002 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理,如果主 Master 不可用,则备用 Master 会成为新的主 Master。二、前置条件HBase 的运行需要依赖 Hadoop 和 JDK(HBase 2.0+ 对应 JDK 1.8+) 。同时原创 2022-05-31 18:06:24 · 940 阅读 · 0 评论 -
HBase基本环境搭建
一、安装前置条件说明1.1 JDK版本说明HBase 需要依赖 JDK 环境,同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要安装 JDK 1.8+ 。1.2 Standalone模式和伪集群模式的区别在 Standalone 模式下,所有守护进程都运行在一个 jvm 进程/实例中;在伪分布模式下,HBase 仍然在单个主机上运行,但是每个守护进程 (HMaster,HRegionServer 和 ZooKeeper) 则分别作为一个单独的进程运行。说明:两种模式任选其一原创 2022-05-31 18:00:22 · 1168 阅读 · 0 评论 -
Hbase系统架构及数据结构
一、基本概念一个典型的 Hbase Table 表如下:1.1 Row Key (行键)Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据,只有以下三种方式:通过指定的 Row Key 进行访问;通过 Row Key 的 range 进行访问,即访问指定范围内的行;进行全表扫描。Row Key 可以是任意字符串,存储时数据按照 Row Key 的字典序进行排序。这里需要注意以下两点:因为字典序对 Int 排序的结果是 1,10,100,11原创 2022-05-31 17:51:25 · 1797 阅读 · 0 评论 -
HBase简介
一、Hadoop的局限HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。要想明白为什么产生 HBase,就需要先了解一下 Hadoop 存在的限制?Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据,它是传统数据库的补充,是海量数据存储的最佳方法,它针对大文件的存储,批量访问和流式访问都做了优化,同时也通过多副本解决了容灾问题。但是 Hadoop 的缺陷在于它只能执行批处理,并且只能以顺序方式访问数据,这意味着即使是最简单的工作,也必须搜索整个数据集原创 2022-05-31 17:37:06 · 581 阅读 · 0 评论