Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）

最新推荐文章于 2024-04-02 18:48:13 发布
最新推荐文章于 2024-04-02 18:48:13 发布
阅读量454 收藏 1
点赞数 1
分类专栏： HBase 文章标签： HBase shell hbase物理架构 hbase逻辑架构 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/May_J_Oldhu/article/details/108781035
版权
本文深入介绍了Apache HBase，包括其作为NoSQL数据库的基本概述、发展历史、应用场景，特别是时间序列数据、信息交换和Web后端应用。详细解析了HBase的物理和逻辑架构，强调了HMaster和RegionServer的角色。此外，文章还探讨了HBase的数据管理和架构特点，并通过HBase Shell展示了如何创建、查询和管理表。
摘要由CSDN通过智能技术生成

NoSQL综述及Apache HBase基础

一.HBase

1.HBase概述

  • HBase是一个领先的NoSQL数据库
    是一个面向列存储的数据库
    是一个分布式hash map
    基于Google Big Table论文
    使用HDFS作为存储并利用其可靠性
  • HBase特点
    数据访问速度快，响应时间约2-20毫秒
    支持随机读写，每个节点20k~100k+ ops/s
    可扩展性，可扩展到20,000+节点

2.HBase发展历史

时间 事件
2006年 Google发表了关于Big Table论文
2007年 第一个版本的HBase和Hadoop0.15.0一起发布
2008年 HBase成为Hadoop的子项目
2010年 HBase成为Apache顶级项目
2011年 Cloudera基于HBase0.90.1推出CDH3
2012年 HBase发布了0.94版本
2013-2014 HBase先后发布了0.96版本/0.98版本
2015-2016 HBase先后发布了1.0版本、1.1版本和1.2.4版本
2017年 HBase发布1.3版本
2018年 HBase先后发布了1.4版本和2.0版本

3.HBase应用场景

3.1增量数据-时间序列数据

​ 高容量，高速写入

在这里插入图片描述

3.2信息交换-消息传递

高容量，高速读写

在这里插入图片描述

3.3内容服务-Web后端应用程序

高容量，高速读写

在这里插入图片描述

3.4HBase应用场景示例

  • Facebook
    9000 memcached instances，4000 shards mysql
    2011全部迁移到HBase
  • Alibaba
    自2010年以来，HBase一直为阿里搜索系统的核心存储
    当前规模
    3 个集群，每个有1000+ nodes
    在Yarn上与Flink共享
    每天提供超过10M+ ops/s 的服务

4.Apache HBase生态圈

HBase生态圈技术
Lily – 基于HBase的CRM
OpenTSDB – HBase面向时间序列数据管理
Kylin – HBase上的OLAP
Phoenix – SQL操作HBase工具
Splice Machine – 基于HBase的OLTP
Apache Tephra – HBase事务支持
TiDB – 分布式SQL DB
Apache Omid - 优化事务管理
Yarn application timeline server v.2 迁移到HBase
Hive metadata存储可以迁移到HBase
Ambari Metrics Server将使用HBase做数据存储

5.HBase物理架构

HBase采用Master/Slave架构

  • HMaster
  • RegionServer
  • Zookeeper
  • HBase Client
  • Region

在这里插入图片描述

5.1 HMaster

HMaster的作用：

  • 是HBase集群的主节点，可以配置多个，用来实现HA
  • 管理和分配Region
  • 负责RegionServer的负载均衡
  • 发现失效的RegionServer并重新分配其上的Region

5.2RegionServer

RegionServer负责管理维护Region

  • 一个RegionServer包含一个WAL、一个BlockCache (读缓存)和多个Region
  • 一个Region包含多个存储区，每个存储区对应一个列族
  • 一个存储区由多个StoreFile和MemStore组成（MemStore内存）
  • 一个StoreFile对应于一个HFile和一个列族
  • HFile和WAL作为序列文件保存在HDFS上
  • Client与RegionServer交互

功能：

  • 负责管理HBase的实际数据

  • 处理分配给它的Region

  • 刷新缓存到HDFS

  • 维护HLog

  • 执行Compaction

  • 负责处理Region分片

在这里插入图片描述

5.3Region和Table

  • 单个Table（表）被分区成大小大致相同的Region
  • Region是HBase集群分布数据的最小单位
  • Region被分配给集群中的RegionServer
  • 一个Region只能分配给一个RegionServer

HRegion

HBase使用表（table）存储数据集，表由行和列组成，这与关系型数据库类似。但是在HBase，当表的大小超过设定值时，HBase会自动将表划分为不同的区域（Region),每个区域成为HRegion，它是HBase集群上分布式存储和负载均衡的最小单位，在这一点上，表和HRegion类似于HDFS中文件和文件块的概念。一个HRgion中保存一个表中一段连续的数据，通过表名和主键范围（开始主键~结束主键）来区分每一个HRgion。

在这里插入图片描述

6.HBase逻辑架构 - Row

  • Rowkey（行键）是唯一的并已排序
  • Schema可以定义何时插入记录
  • 每个Row都可以定义自己的列，即使其他Row不使用
    相关列定义为列族
  • 使用唯一时间戳维护多个Row版本
    在不同版本中值类型可以不同
  • HBase数据全部以字节存储

在这里插入图片描述

7.HBase数据管

最低0.47元/天 解锁文章
May--J--Oldhu
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HBase特点
领导的博客
03-17 2273
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的开源分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Apache提供的开源的非关系型数据库。 HBase的底层存储是基于Hadoop，是一个分布式，可扩展，大数据库数据库 HBase能够实时读写大量的数据。单张表就可以做到10亿*百万列数据量的级别。 H...
Hbase（一）入门
ks_1998的博客
07-04 5688
Hbase概述
HBase详解（1）
最新发布
m0_51388399的博客
04-02 1436
HBase是Yahoo!公司开发的后来贡献给了Apache的一套开源的、分布式的、可扩展的、基于Hadoop的非关系型数据库()，因此HBase并不支持SQL(几乎所有的非关系型数据库都不支持SQL)，而是提供了一套单独的命令和API操作关系型数据库和非关系型数据库针对的数据是不同的关系型数据库存储的数据都是结构化数据，即同一个表中所有的数据的结构都是完全相同的，所以此时可以采用SQL(Structed Query Language，结构化查询语言)来进行查询。
HBase与ApacheHBase集成
禅与计算机程序设计艺术
01-23 915
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、ZooKeeper等组件集成。Apache HBase是HBase的开源版本，由Apache软件基金会支持和维护。 HBase与Apache HBase集成是一项重要的技术，可以帮助我们更好地利用HBase的优势，实现高...
Apache HBase全面解析：架构、核心概念与性能优化策略
u012964600的博客
02-27 980
HBase是一个开源的非关系型分布式数据库（NoSQL），它是基于Apache Hadoop的HDFS（Hadoop Distributed File System）构建的。HBase提供了对大规模数据集的随机、实时读/写访问，并且是Google Bigtable的开源实现。
什么是omid？数据库的乐观事务管理
ruiyiin的专栏
05-09 1120
What is Omid? Apache Omid (Optimistically transaction Management In Datastores)is a flexible, reliable, high performant and scalable transactional framework that allows Big Data applications to execute ACID transactions on top of MVCC key/value NoSQL dat.
大数据书籍-Hbase架构设计（高清）
11-11
通过阅读《Hbase架构设计》这本书，读者不仅可以掌握Hbase的基本概念和技术细节，还能学习到如何在实际项目中有效地应用和优化Hbase，从而在大数据处理领域建立起坚实的Hbase技术基础。书中的《HBase应用架构.pdf》...
Apache HBase Primer
12-03
网上的HBase书都比较老了，这是目前为止最新版本的HBase电子书。 Part I: Core Concepts Chapter 1: Fundamental Characteristics ... Chapter 19: Using the HBase Shell Chapter 20: Bulk Loading Data
hbase-connectors：Apache HBase连接器
02-05
Apache HBase是一个分布式的、版本化的NoSQL数据库，它构建在Hadoop文件系统（HDFS）之上，专门设计用于处理大规模数据集。"hbase-connectors"项目则提供了与HBase交互的不同方式，使得开发者可以方便地将HBase集成...
Apache HBase ™ Reference Guide.zip
12-12
HBase的数据模型基于稀疏、多维度、排序的映射表，其中行键决定数据的物理存储位置，列族和列限定符定义数据的逻辑结构，时间戳用于版本控制。 **五、API与操作** HBase提供了Java API以及命令行接口（HBase Shell...
读写HBase数据.pdf
12-09
3. 使用`DataFrameReader`的`format("org.apache.spark.sql.execution.datasources.hbase")`方法读取HBase数据。 4. 使用`DataFrameWriter`的`format("org.apache.spark.sql.execution.datasources.hbase")`方法写入...
HBase 数据库迁移工具的设计与实现
03-28
目前已涌现出了许多性能和功能各异的Flash3D引擎技术,其在动漫游戏的应用非常引人注目。但尚未有对这些Flash3D引擎发展现状做深入而系统的剖析,围绕Flash3D的学术研究几乎是一片空白。对当前主流Flash3D引擎的发展现状进行了综述性的研究,横向分析比较了各主流引擎的功能与性能。同时,围绕着Flash3D引擎提出了若干关键技术。然后,介绍了我们课题组自主研发的Flash3D轻量级引擎的设计及其若干关键技术的初步成果。最后,展望了Flash3D引擎技术的未来发展趋势。
ApacheHBase官方文档中文版
09-10
ApacheHBase官方文档中文版！
大数据（027）HBASE【Hbase 综述】
张--小涛涛
11-04 632
HADOOP生态系统 其中： Zookeeper：分布式协作服务组件，管理Hadoop相关组件 Flume：日志收集工具 Sqoop：关系型数据库ETL工具【ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）
大数据开发教程——Apache HBase API介绍及性能优化
qq_42285599的博客
06-14 225
Official API is Java (官方API是Java) It support full set of hbase commands (支持所有hbase 命令集的操作) External API Apache HBase ™ Reference Guide (官方介绍) HBase Rest API Demo (Hbase Rest接口，了解) Start/Stop rest servicen hbase-daemon.sh start rest -p 9081 hbase-daemon.sh
HBase的特征和优点
shekey92的博客
07-21 1276
摘自：http://blog.jobbole.com/83614/ Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合ke
HBase基础知识(个人总结)
hellosrc的博客
03-07 2088
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
大数据核心技术是什么 怎么掌握Hadoop知识
qq_43444478的博客
08-26 807
　　大数据核心技术是什么？怎么掌握Hadoop知识？很多人听说过大数据，但对于大数据所包含的核心技术却并不了解，下面就给大家介绍一下大数据工程师必须要掌握的技术——Hadoop相关知识。 　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构。整个Hadoop家族由以下几个子项目组成： 　　Hadoop Common： 　　Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。 　　HDFS： 　　是Hadoop应用程序中主要的分布式储存
Apache HBase 的适用场景
张吉的博客
08-17 4201
HBase很棒，但不是关系型数据库或HDFS的替代者。它需要配置得当才能运行良好。监控，监控，监控，重要的事情要说三遍。
apache_hbase_reference_guide.pdf
07-04
2. **Apache HBase配置**：HBase的配置是其高效运行的关键，包括配置文件、基本前提条件、运行模式（独立和分布式）以及安装后的验证。 3. **默认配置**：详述了HBase启动时的默认配置参数，帮助理解系统的行为。 4....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值