HBase入门

最新推荐文章于 2024-09-16 11:16:36 发布
最新推荐文章于 2024-09-16 11:16:36 发布
阅读量210 收藏
点赞数
分类专栏： hbase 文章标签： 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41547580/article/details/103983303
版权

什么是HBase？

一、概念

基于hdfs，高可靠性、高性能、列存储、可伸缩、快速响应、实时读写nosql的数据库系统

二、应用场景

Hbase非常适合用来进行大数据的实时查询。如：Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。

三、整体架构

在这里插入图片描述

各组件成员介绍及对应职责

Clinet（客户端）：

包含访问HBase接口，维护一些cache（缓存），如：Region位置信息，加快对HBase的访问

Zookeeper：

保证只有一个Master
保证所有Region的寻址入口
实时监控RegionServer动态上下线
通知Master存储HBase的schema和table的元数据

HMaster：

负责.META.表的维护
为RegionServer分配Region
负责RegionServer的负载均衡，发现有失效的RegionServer就重新分配Region
HDFS上的垃圾回收 （HDFS上的目录 /tmp）
处理schema的更新请求

RegionServer：

每个RegionServer会维护一个HLog，并且HLog是以单个文件追加的方式写入，而不是同时写入多个文件。目的：减少寻址次数，提高对table的写性能
维护分配到的Region，处理这些Region的IO请求
负责切分达到阈值的Region
每个RegionServer各自保管自己的HLog

大致了解了HBase的整体架构之后，接下来深入了解一些内部原理

内部原理

在这里插入图片描述
思考：
HBase每次数据写入和读取的底层是如何找到对应区域进行读取和写入的呢？

这里引出HBase的一个定位架构

1） .META.表和-ROOT-表

HBase0.96版本以前：三层架构

层次名称作用
第一层Zookeeper文件记录了-ROOT-表的位置信息
第二层-ROOT-表记录了.META.表的Region位置信息，-ROOT-表只能有一个Region。通过-ROOT-表就可以访问.META.表中的数据
第三层.META.表记录了用户数据表的Region位置信息，.META.表可以有多个Region，保存了HBase中所有用户数据表的Region位置信息
解析定位步骤：
1）meta表的Rowkey由表名、起始key、时间戳组成，如果起始key为空，则表示第一个Region。按照起始key排序使得行键不需要终止key就能表示范围。
2）值则是终止key、列族、列值，该RegionServer的地址等等。
3）meta表由于数据量过大可能被分割由多个RegionServer存储，因此又设置了-ROOT-表存放.META.表所有的Region，以及该Region所属的.META.表的位置。
因此，三层架构需要三次跳转才能获取到HRegion，如果缓存失效则需要6次，理论上三层架构最少能存储2ZB的数据

HBase0.96版本以后：双层架构

变成双层架构的原因：
三层架构使HBase最少存2ZB的数据，实际上根本用不到这么多，于是删除了-ROOT-表，只使用.META.表定位，.META.表的一个Region最多可以定位16TB的行键范围，假设一个行键范围包括10条数据，就已经是160TB了，假如一个Region大于128M，则足以存储更多的数据，因此根本不需要-ROOT-表
层次名称作用
第一层Zookeeper文件记录.META.表的Region位置信息
第二层.META.表记录了用户数据表的Region位置信息，.META.表可以有多个Region，保存了HBase中所有用户数据表的Region位置信息
双层定位步骤：
1）客户端Client通过Zookeeper的/hbase/meta-region-server节点去查询哪个RegionServer上有.META.表
2）通过.META.表查询目标数据（Rowkey）所在的Region，再查询这个Region属于哪个RegionServer
最后，客户端会把.META.信息缓存起来，下次不用再重复操作
2）HBase的读写流程

读数据流程

1）客户端Client会从Zookeeper中获取.META.表位置信息，然后到对应的RegionServer获取该表，或者直接从缓存中读取该表
2）客户端从.META.表中获取行键所在的Region位置
3）先从Region的memstore读取，如果没有再从blockcache（读缓存）
4）如果blockcache（读缓存）也查询不到，再到HFile中查找，查找HFile之前先用布隆过滤器筛选出可能存在该行键的HFile
ps：从HFile读取到的数据会复制一份到blockcache中

写数据流程

在这里插入图片描述

1）客户端Client会从Zookeeper中获取.META.表的位置信息，然后到对应的RegionServer上获取该表，如果缓存有记录信息，则直接从缓存中读取该表
2）客户端会从.META.表中获取要写的数据存放的Region和所在的RegionServer
3）客户端会给数据设置版本号（默认为当前时间），然后往该RegionServer上的HLog写日志数据，同时往RegionServer的memstore写数据
4）当memstore达到阈值就会刷写到磁盘形成一个storefile小文件
5）当storefile小文件数量达到阈值就会将多个小storefile合并成一个大storefile文件
6）当storefile大文件的体积大小达到阈值又会进行split切分，等分分裂为两个storefile

四、HBase行键热点问题

产生行键热点问题的原因：

1）HBase的Region维护着每个Rowkey的起始key和终止key，当加入的数据的Rowkey范围符合该Region维护的范围，就会由该Region去维护这个Rowkey，从而可能会出现某个Region维护的Rowkey过多，其他Region维护Rowkey过少的现象就会导致行键热点问题
2）HBase在HDFS中的路径结构如下：名空间/表名/region名/列族	名/文件名
从这个路径可以看出，每张表会被划分为多个Region，实际上这些些region会被平均分配到多个节点上，如果某个时间点有大量的请求都落在某个单一region上，则会加重该节点的负担，严重时甚至导致死机。
region将表按rowkey进行固定大小的划分，范围内的数据到达一个阀值就会生成一个新的region，
因此hbase的热点问题也可以说是行键的热点问题。

总结：有点类似MR的数据倾斜原因。HBase中某个Region维护的Rowkey特别多，处理的IO请求特别多，而其他的Region维护和处理比较少，就会导致某个Region节点压力过大，造成死机等不好的影响。这个现象就称为行键的热点问题。

解决方案

1）反转
将行键和列值互换，但是这样也会让Rowkey失去有序性
2）加盐
将每一个Rowkey加一个前缀，前缀使用一些随机字符，使得数据分散在多个不同的Region，达到Region负载均衡的目标
ps：前缀是按照ASCLL码一个前缀最多能有128种字节，可以根据业务需求限制随机范围，128种前缀对应128个节点随机分配，一般生产环境已经足够使用
3）Hash
用Hash散列来替代随机加盐前缀的好处是能让一个给定的行有相同的前缀，这在分散Region负载的同时，使读操作也能推断。确定性Hash（如md5后取前4位做前缀）能让客户端重建完整的Rowkey，可以使用get操作直接get想要的行

五、HBase的高可用（宕机恢复）

1）HMaster通过zk保持对外单服务，HReigionServer则通过Hlog保证以外宕机时内存数据丢失恢复。
2）HRegionServer意外宕机时，HMaster首先把原本分配给该节点的region（存储在hdfs上的文件都会有备份）分配给其它节点，然后尝试读取宕机节点的Hlog，将数据写入region。
3）读取日志进行恢复的机制随版本不断变化，一开始是性能最低的LogSplitting机制，后来采用Distributed Log Splitting机制，最后是Distributed Log Replay机制。

六、Hbase的优化

1）行键优化

1）唯一原则：
	行键不能重复

2）长度原则：
	越短越好，最好是8的倍数。如果行键过长，寻址过程就会消耗更多的时间

举例：
其一是HBase的持久化文件HFile是按照KeyValue存储的，如果Rowkey过长比如500个字节，1000万列数据光Rowkey就要占用 500*1000万=50亿个字节，将近1G数据，这会极大影响HFile的存储效率 
其二是MemStore缓存部分数据到内存，如果Rowkey字段过长内存的有效利用率会降低，系统无法缓存更多的数据，这会降低检索效率

3）散列原则：
	尽量将数据分散在多个Region中，避免热点问题

2）列族优化

1）长度尽量小，最好是单字节。因为列式存储必带列族名
2）数量尽量少，控制在2个以内。因为HBase按region拆表，而region按列族把列拆成多个store，当region整体达到阀值时会拆分region，因此当两个列族数据大小差距悬殊时会导致数据量很小的列族数据也被迫参与拆分，该列族数据分散太多。最终查询该列族数据时，不得不请求多个region。

3）协处理器Coprocessor

hbase0.92版本之后支持协处理器，恶意为表埋钩子代码，当条件符合时自动触发钩子，大幅降低用户端的维护难度。
如：可以利用协处理器建立二级索引
步骤：
	1）创建一个类继承观察者类，重写其中的preput方法，在插入数据到本表前会先执行该方法，自定义地将数据插入到索引表。
	2）打包上传到HDFS上，用HBase shell命令加载该协处理器到表中

4）预分区

1）手动设置分区点
2）生成16进制序列预分区
3）按照文件中设置的规则预分区
4）使用java API

5）其他优化

关闭自动刷写：HTable.setAutoFlushTo(false)

增加写入缓存：HTable.setWriteBufferSize(writeBufferSize)

不使用WAL：Put.setWriteToWAL(false)

压缩传输：hcd.setCompressionType(Algorithm.SNAPPY)

设置最大版本数：HColumnDescriptor.setMaxVersions(int maxVersions)

设置生命周期：HColumnDescriptor.setTimeToLive（int timeToLive）

未完待续，往后会补充HBase具体的API操作，以及HBase整合Hive、HBase整合Pheonix

会写程序员的代码
关注
专栏目录
HBase体系架构
zhaohaibo的博客
10-31 1395
HBase是基于Hadoop的开源分布式数据库。体系架构为master/slave架构。 HBase系统架构 Client HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPC Zookeeper Zookeeper Q...
Hbase入门到实操
默主归沙的博客
06-03 1424
Nosql中列式存储之Hbase知识讲解。
HBase 入门
Larry的专栏
04-30 714
当集群中存在多个（两个或者三个以上）HMaster，备用的Master会定期与Active Master通信以获取最新的状态信息，以保证故障切换时自身的数据状态是最新的，因而Active Master可能会收到大量来自备用Master的数据请求，有可能导致HMaster负载较高。BucketCache是阿里贡献的。LSM树原理把一棵大树拆分成N棵小树，它首先写入内存中，随着小树越来越大，内存中的小树会flush到磁盘中，磁盘中的树定期可以做merge操作，合并成一棵大树，以优化读性能。
HBase入门教程
qq_54070501的博客
04-18 4613
1、什么是HBase？ HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。 HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。 它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。HBa...
【HBase入门与实战】一文搞懂HBase!
Byyyi耀的博客
03-16 2003
1.HBase的引入、定义和特点 2.NoSQL数据库的概念和与关系型数据库的区别 3.HBase的物理架构和逻辑架构 4.HBase Shell的基本命令使用 5.HBase的应用场景
大数据之HBase入门到精通
每日小新
12-30 1531
Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。利用Hadoop HDFS作为其文件存储系统,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库,通过键值对的形式进行查询key-value）。
HBase入门简介
u011236069的博客
11-12 1022
简介： 由于对基础服务吞吐能力进行升级，目标tps10w+，mysql数据库无法承载，限制????了基础服务的能力，需要将相关数据表进行迁出至nosql中，经过调研和比较后决定使用HBase来进行数据存储。因为作者之前工作未涉及到如此大的数据量，也没有在项目中使用过HBase因此需要进行技术调研，考虑到有些小伙伴可能和我有一样的，因此决定将调研和开发过程通过技术博客的形势记录下来，希望能给大家带来一些帮助和思考。 HBase概览 HBase简介： ...
hbase入门
Pichairen
12-08 174
基础概念：https://zhuanlan.zhihu.com/p/145551967?utm_source=wechat_session&utm_medium=social&utm_oi=627651160518168576&utm_campaign=shareopn&s_r=0 练习上手：https://www.cnblogs.com/mikevictor07/p/4190208.html
Hbase入门及实践
xubaoyong的专栏
06-19 612
Hbase入门及实践 1. hbase安装成功后怎么验证 打开网址验证，浏览器输入[http://localhost:16010) 命令行 ./hbase shell 2. 表相关操作 2.1 查看全部表 hbase(main):001:0> list 2.2. 创建表 语法： create '表名', '列族名1','列族名2','列族名N' create <table>, {NAME => <family>, VERSIONS => <VERSI
HBase入门：命名空间、建表、增删改查
01-20
在深入探讨HBase之前，先理解一下什么是HBase。HBase是Apache Hadoop生态系统中的一个分布式、面向列的NoSQL数据库。它提供了实时读写访问，适用于大规模数据存储，尤其适合处理半结构化或非结构化的数据。HBase构建...
Hbase入门详解
01-20
1、hbase概述 1.1 hbase是什么 hbase是基于hdfs进行数据的分布式存储，具有高可靠、高性能、列存储、可伸缩、实时读写的nosql数据库。 hbase可以存储海量的数据，并且后期查询性能很高，可以实现上亿条数据的查询秒...
一条数据的HBase之旅，简明HBase入门教程-Write全流程
01-28
总结，HBase入门涉及理解其数据模型、RowKey设计原则、写入流程及接口使用，以及如何通过优化RowKey设计和使用特定策略来避免写入热点，确保系统的高效运行。在实际应用中，需要根据业务需求灵活运用这些知识，以...
【Elasticsearch系列六】系统命令API
最新发布
檀越的博客
09-16 1166
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 591
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 608
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
Java 学习路线：语言、框架、中间件与数据库
qq_64272546的博客
09-13 1464
Spring Boot 是 Spring 框架的子项目，可简化 Spring 应用的开发与配置。通过提供一系列默认配置和自动化配置功能，Spring Boot 极大地减轻了开发者的工作量。Spring Cloud 是一系列框架的集合，用于开发分布式系统和微服务架构。它涵盖了负载均衡、服务发现、配置管理、分布式追踪等功能。MyBatis-Plus 是 MyBatis 的增强工具，它在 MyBatis 的基础上提供了大量的易用功能，如单表 CRUD 操作、分页、代码生成器等，旨在简化数据库操作。
测试-Testcontainers
Flying_Fish_roe的博客
09-12 643
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3499
SuperMap GIS基础产品FAQ集锦(20240911)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值