HBase

最新推荐文章于 2022-10-12 11:06:28 发布
最新推荐文章于 2022-10-12 11:06:28 发布
阅读量106 收藏
点赞数
文章标签： 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49057473/article/details/110563492
版权

HBase与Hive的对比

1.Hive

  • 数据仓库

    Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。

  • 用于数据分析、清洗

    Hive适用于离线的数据分析和清洗，延迟较高。

  • 基于HDFS、MapReduce

Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。

2．HBase

  • 数据库
    是一种面向列族存储的非关系型数据库。

  • 用于存储结构化和非结构化的数据

    适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。

  • 基于HDFS
    数据持久化存储的体现形式是HFile，存放于DataNode中，被ResionServer以region的形式进行管理。

  • 延迟较低，接入在线业务使用

    面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

HBase逻辑结构

在这里插入图片描述

数据模型：

Name Space命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。

Table类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。

RowHBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，

ColumnHBase中的每个列都由Column Family(列族)和Column Qualifier（列限定符）进行限定，建表时，只需指明列族。

Time Stamp用于标识数据的不同版本（version），其值为写入HBase的时间。

Cell由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell中的数据全部是字节码形式存贮。

HBase架构

在这里插入图片描述

框架角色：

Region Server为 Region的管理者

作用：对于数据的操作：get, put, delete、对于Region的操作：splitRegion、compactRegion。

Master是所有Region Server的管理者

作用：对于表的操作：create, delete, alter、对于RegionServer的操作：分配regions到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移。

Zookeeper用来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。

HDFS提供最终的底层数据存储服务，同时为HBase提供高可用的支持。
在这里插入图片描述

StoreFile:保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。

MemStore:写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。

WAL:由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

BlockCache:读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。

HBase命令

#查看当前Hbase中有哪些namespace
list_namespace
#创建namespace
create_namespace "test"
#查看namespace
describe_namespace "test01"
#修改namespace的信息（添加或者修改属性）
alter_namespace 'ns1', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}
alter_namespace 'ns1', {METHOD => 'unset', NAME => ' PROPERTY_NAME '}
#删除namespace(要删除的namespace必须是空的，其下没有表)
drop_namespace "test01"

#查看当前数据库中有哪些表
list
#创建表
create 'student','info'
#插入数据到表
put 'student','1001','info:sex','male'
#扫描查看表数据
scan 'student'
scan 'student',{STARTROW => '1001', STOPROW  => '1001'}
#查看表结构
describe 'student'
#更新指定字段的数据
put 'student','1001','info:name','Nick'
#查看“指定行”或“指定列族:列”的数据
get 'student','1001'
get 'student','1001','info:name'
#统计表数据行数
count 'student'
#删除数据
deleteall 'student','1001'
delete 'student','1002','info:sex'
#清空表数据(清空表的操作顺序为先disable，然后再truncate)
truncate 'student'
#删除表(1~2)(如果直接drop表，会报错：ERROR: Table student is enabled. Disable it first.)
1.disable 'student'
2.drop 'student'
#变更表信息(将info列族中的数据存放3个版本)
alter 'student',{NAME=>'info',VERSIONS=>3}

HBase写流程

在这里插入图片描述

1.Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。

2.访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。

3.与目标Region Server进行通讯。

4.将数据顺序写入（追加）到WAL。

5.将数据写入对应的MemStore，数据会在MemStore进行排序。

6.向客户端发送ack。

7.等达到MemStore的刷写时机后，将数据刷写到HFile。

MemStore Flush

在这里插入图片描述

MemStore刷写时机：

1.当某个memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M），其所在region的所有memstore都会刷写。当memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M）*

hbase.hregion.memstore.block.multiplier（默认值4）时，会阻止继续往该memstore写数据。

2.当region server中memstore的总大小达到java_heapsize*

hbase.regionserver.global.memstore.size（默认值0.4）*

hbase.regionserver.global.memstore.size.lower.limit（默认值0.95），

region会按照其所有memstore的大小顺序（由大到小）依次进行刷写。直到region server中所有memstore的总大小减小到上述值以下。

当region server中memstore的总大小达到java_heapsize*

hbase.regionserver.global.memstore.size（默认值0.4）时，会阻止继续往所有的memstore写数据。

3.到达自动刷写的时间，也会触发memstore flush。自动刷新的时间间隔由该属性进行配置hbase.regionserver.optionalcacheflushinterval（默认1小时）。

4.当WAL文件的数量超过hbase.regionserver.max.logs，region会按照时间顺序依次进行刷写，直到WAL文件数量减小到hbase.regionserver.max.logs以下（该属性名已经废弃，现无需手动设置，最大值为32）。

HBase读流程

在这里插入图片描述
在这里插入图片描述

1.Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。

2.访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。

3.与目标Region Server进行通讯。

4.分别在MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。

5.将查询到的新的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache。

6.将合并后的最终结果返回给客户端。

StoreFile Compaction

​

	由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile。为了减少HFile的个数，以及清理掉过期和删除的数据，会进行StoreFile Compaction。

        Compaction分为两种：

1.Minor Compaction（清理掉部分过期和删除的数据）临近的若干个较小的HFile合并成一个较大的HFile。

2.Major Compaction（会清理掉所有过期和删除的数据）一个Store下的所有的HFile合并成一个大HFile。

在这里插入图片描述

Region Split

1.当1个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize，该Region就会进行拆分（0.94版本之前）。

2.当1个region中的某个Store下所有StoreFile的总大小超过Min(initialSize*R^3 ,hbase.hregion.max.filesize")，该Region就会进行拆分。其中initialSize的默认值为2*hbase.hregion.memstore.flush.size，R为当前Region Server中属于该Table的Region个数（0.94版本之后）。第n次split：n^3 * 256MB 第四次10G 后面每次split的size都是10GB了

3.Hbase 2.0引入了新的split策略：如果当前RegionServer上该表只有一个Region，按照2 *
hbase.hregion.memstore.flush.size分裂，否则按照hbase.hregion.max.filesize分裂。
在这里插入图片描述

HBase优化

1.预分区

​ 如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能

#手动设定预分区
create 'staff1','info',SPLITS => ['1000','2000','3000','4000']

#生成16进制序列预分区
'staff2','info',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

#按照文件中设置的规则预分区(\n)
'staff3','info',SPLITS_FILE => 'splits.txt'

#使用JavaAPI创建预分区
#自定义算法，产生一系列Hash散列值存储在二维数组中
byte[][] splitKeys = 某个散列值函数
#创建HbaseAdmin实例
HBaseAdmin hAdmin = new HBaseAdmin(HbaseConfiguration.create());
#创建HTableDescriptor实例
HTableDescriptor tableDesc = new HTableDescriptor(tableName);
#通过HTableDescriptor实例和散列值二维数组创建带有预分区的Hbase表
hAdmin.createTable(tableDesc, splitKeys);

2.RowKey设计

​一条数据的唯一标识就是rowkey，那么这条数据存储于哪个分区，取决于rowkey处于哪个一个预分区的区间内，设计rowkey的主要目的 ，就是让数据均匀的分布于所有的region中，在一定程度上防止数据倾斜。

  • 生成随机数、hash、散列值（在做此操作之前，一般我们会选择从数据集中抽取样本，来决定什么样的rowKey来Hash后作为每个分区的临界值。）

  • 字符串反转

  • 字符串拼接

3.内存优化

1.Zookeeper会话超时时间

hbase-site.xml

属性：zookeeper.session.timeout
解释：默认值为90000毫秒（90s）。当某个RegionServer挂掉，90s之后Master才能察觉到。可适当减小此值，以加快Master响应，可调整至600000毫秒。

2.设置RPC监听数量

hbase-site.xml

属性：hbase.regionserver.handler.count
解释：默认值为30，用于指定RPC监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值。

3.手动控制Major Compaction

hbase-site.xml

属性：hbase.hregion.majorcompaction
解释：默认值：604800000秒（7天）， Major Compaction的周期，若关闭自动Major Compaction，可将其设为0

4.优化HStore文件大小

hbase-site.xml

属性：hbase.hregion.max.filesize
解释：默认值10737418240（10GB），如果需要运行HBase的MR任务，可以减小此值，因为一个region对应一个map任务，如果单个region过大，会导致map任务执行时间过长。该值的意思就是，如果HFile的大小达到这个数值，则这个region会被切分为两个Hfile。

5.优化HBase客户端缓存

hbase-site.xml

属性：hbase.client.write.buffer
解释：默认值2097152bytes（2M）用于指定HBase客户端缓存，增大该值可以减少RPC调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少RPC次数的目的。

6.指定scan.next扫描HBase所获取的行数

hbase-site.xml

属性：hbase.client.scanner.caching
解释：用于指定scan.next方法获取的默认行数，值越大，消耗内存越大。

7.BlockCache占用RegionServer堆内存的比例

hbase-site.xml

属性：hfile.block.cache.size
解释：默认0.4，读请求比较多的情况下，可适当调大

8.MemStore占用RegionServer堆内存的比例

hbase-site.xml

属性：hbase.regionserver.global.memstore.size
解释：默认0.4，写请求较多的情况下，可适当调大
叶落尽天下秋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HBase的架构篇
Mr_YXX的博客
03-22 335
HBase架构篇 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成： HMaster 节点、HRegionServer 节点、 ZooKeeper 集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下： HMaster节点用于： 管理HRegionServer，实现HRegion的负...
hbase2.5.6最新版本下载
最新发布
01-10
HBase是Apache软件基金会开发的一个开源、分布式、版本化、基于列族的NoSQL数据库，设计用于处理海量数据。在2.5.6这个版本中，HBase继续提供高性能、高可靠性以及可扩展性的特性，使得它成为大数据存储的理想选择。...
HBase架构
play_chess_ITmanito的博客
05-13 719
在HBase中，表被分割成区域，并由区域服务器提供服务。区域被列族垂直分为“Stores”。Stores被保存在HDFS文件。下面显示的是HBase的结构。注意：术语“store”是用于区域来解释存储结构。 HBase Architecture HBase有三个主要组成部分：客户端库，主服务器和区域服务器。区域服务器可以按要求添加或删除。主服务器 主服务器是 -分配区域给区域服务器并在Ap
Hbase架构
Markble
08-09 4082
一、HBase基本架构 架构角色： 1）Region Server Region Server为 Region的管理者，其实现类为HRegionServer，主要作用如下: Regionserver维护region，处理对这些region的IO请求 Regionserver负责切分在运行过程中变得过大的region 对于数据的操作：get, put, delete； 对于Region的操作：splitRegion、compactRegion。 2）Master Master是所有...
HBase 架构
梁辰兴的博客
10-12 4659
包含访问HBase的接口并维护cache来加快对HBase的访问。
hbase安装包
01-22
HBase，全称为Hadoop Distributed File System上的基础结构（HBase on Hadoop Distributed File System），是一种分布式的、面向列的开源数据库，它构建在Apache Hadoop文件系统（HDFS）之上，提供高可靠性、高性能...
hbase 数据库
07-11
HBase，全称为Apache HBase，是一款开源的分布式数据库，基于Google的Bigtable设计思想，是Apache Hadoop生态系统的一部分。HBase提供高可靠性、高性能、列式存储、可伸缩性和实时读写能力，适用于大数据处理场景。...
CDH-Hbase的安装1
08-03
在本文中，我们将深入探讨HBase的安装过程及其在CDH环境中的集成。HBase是Apache Hadoop生态系统中的一个核心组件，它是一个分布式、版本化的、支持列族的NoSQL数据库，特别适合处理大规模的数据存储。CDH（Cloudera...
phoenix-hbase-2.4-5.1.2
03-09
《Phoenix与HBase的深度解析：基于phoenix-hbase-2.4-5.1.2版本》 在大数据处理领域，Apache HBase和Phoenix是两个至关重要的组件。HBase作为一个分布式、列式存储的NoSQL数据库，为海量数据提供了高效、实时的访问...
Hbase 系统架构(zhuan)
weixin_34219944的博客
02-12 64
一、系统架构      客户端连接hbase依赖于zookeeper，hbase存储依赖于hadoop     client： 1、包含访问 hbase 的接口， client 维护着一些 cache（缓存） 来加快对 hbase 的访问，比如 region 的 位置信息。 （经常使用的表的位置信息）   zookeeper： 1、保证任何时候，集群中只有一个 master2、存贮所有 ...
hbase架构
思考、总结、专注
01-11 181
本篇文章旨在针对初学者以我本人现阶段所掌握的知识就HBase的架构图中各模块作一个概念科普。不对文章内容的“绝对、完全正确性”负责。 1、开胃小菜 　　关于HBase的架构图，直接抓取网络上图片来分析就好了。它大概长成下面的样子： 图1HBase架构图 　　从上图中可以很直观地看到整个HBase都是基于HDFS之上的。这个HDFS呢，它的全称是Hadoopdistributedfile system，Hadoop分布式文件系统。关于在《HBase入门指南》中提到的HBase的概念：H...
HBaseShell实践：掌握HBaseShell基本操作
"实验手册_HbaseShell.docx" 本文将详细介绍如何使用HBase Shell，这是一个用于操作和管理HBase数据库的命令行工具。HBase是构建在Hadoop之上的分布式、版本化、可扩展的大数据存储系统，适合处理海量结构化数据。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值