大数据干货系列（九）--HBase总结

本文共计1058字，预计阅读时长六分钟

---

HBase总结

 

一、本质

HBase是一个开源的非关系型分布式数据库（NoSQL），运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。

 

二、HBase解决了什么问题

对比传统数据库的优势：

– 高可靠的海量数据存储

– 高并发读写

– 面向列，快速随机访问

– 线性扩展

– 数据存储在HDFS，备份机制完备

– 通过zk协调查找数据，并实现容错

 

三、应用场景

• 互联网搜索引擎数据存储

• 消息中心

• 内容服务系统（schema-free）

 

四、行存储和列存储

• 行存储

– 优点：写入一次性完成，保持数据完整性

– 缺点：数据读取过程中产生冗余数据，若有少量数据可以忽略

• 列存储

– 优点：读取过程，不会产生冗余数据，特别适合对数据完整性要求不高的大数据领域

– 缺点：写入效率差，保证数据完整性方面差

 

五、HBase的数据模型

• RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。

• Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列

• Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加

• Version Number：类型为Long，默认值是系统时间戳，可由用户自定义

• Value(Cell)：Byte array

• 三维有序：{rowkey => {family => {qualifier => {version => value}}}}

 

六、HBase建表

• 进入HBase

  hbase shell

• 查看数据库状态

  status

• 创建HBase表:create / list / describe

  create 'music_table','meta_data','action'

• 修改Hbase表:disable / alter / drop / exists / enable

  **凡是要修改表的结构或删除表，hbase规定，必须先禁用表->修改表->启用表， 直接修改会报错**

  disable 'music_table'

  alter 'music_table',{NAME=>'action',METHOD=>'delete'}

  enable 'music_table'

 

七、HBase的逻辑&物理模型

7.1逻辑模型：

1)Hbase一张表由一个或多个Region(区域，范围)组成

2)记录之间按照Row Key的字典序排列

3)Region按大小分割的，每个表一开始只有一个Region，随着数据不断插入表，Region不断增大，当增大到一个阀值的时候，Region就会等分会两个新的Region。

7.2物理模型：

逻辑->物理

表 -> HTable

Region -> HRegion(分布在Region Servers)

Column Family -> HStore(memstore + HFiles)

• HRegion是Hbase中分布式存储和负载均衡的最小单元(HBase中的block)。

• 最小单元就表示不同的Hregion可以分布在不同的HRegion server上。

• 但一个Hregion是不会拆分到多个server上的。

• HRegion虽然是分布式存储的最小单元，StoreFile是存储的最小单元。

• WAL(Write-Ahead-Log)预写日志，是RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志，每次操作前先将其数据写入到RegionServer对应的HLog文件。

 

八、HBase的系统架构

• Client

– 访问Hbase的接口，并维护Cache加速Region Server的访问

• Master

– 负载均衡，分配Region到RegionServer

• Region Server

– 维护Region，负责Region的IO请求

• Zookeeper

– 保证集群中只有一个Master(另一个是InactiveMaster)

– 保存HBase的部分信息：

– /hbase/root-region-server ，Root region的位置

– /hbase/table/-ROOT-，根元数据信息

– /hbase/table/.META.，元数据信息

– /hbase/master，当选的Mater

– /hbase/backup-masters，备选的Master

– /hbase/rs ，Region Server的信息

– /hbase/unassigned，未分配的Region

– 实时监控Region Server的上下线信息，并通知Master

 

九、HBase的容错

• Master容错：

Zookeeper重新选择一个新的Master，无Master过程中，数据读取仍照常进行region切分、负载均衡等无法进行

• Region Server容错：

定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳，Master将该RegionServer上的Region重新分配到其他RegionServer上，失效服务器上WAL由主服务器进行分割，并派送给新的RegionServer

• 读写容错：

客户端往RegionServer端提交数据的时候，会写WAL日志，只有当WAL日志写成功以后，客户端才会被告诉提交数据成功，如果写WAL失败会告知客户端提交失败。

以上.

听说，爱点赞的人运气都不会太差哦

如果有任何意见和建议，也欢迎在下方留言~

---

 

关注这个公众号，每天会有三道大数据面试题准时推送给你哦~

点击这里查看往期精彩内容：

大数据干货系列（八）--Flume总结

大数据干货系列（七）--Storm总结

大数据干货系列（六）--Spark总结

大数据干货系列（五）--Hive总结

大数据干货系列（四）--ZooKeeper总结

大数据干货系列（三）-- Hadoop2.0总结

大数据干货系列（二）--HDFS1.0

大数据干货系列（一）--MapReduce总结