Hbase框架简介

HBase ORM框架概念:

HBase是一个构建在 Apache Hadoop和 Apache ZooKeeper之上面向列存储、的分布式数据库.

HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列存储的动态模式数据库。 和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间 戳构成。HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完 美地结合在一起。

HB 官方文档中文版:http://abloz.com/hbase/book.html


Hbase表的特点:

1)数据量大:一个表可以有上亿行,上百万列.查询快,可以直接接入在线业务(移动通信,银行,邮箱)
2)面向列:面向列(列簇)的存储和权限控制,列(列簇独立检索)

3)稀疏:对于为空(null)的列,并不占用存储空间,因此表可以设计的非常稀疏
4)多版本:每个cell中数据可以有多个版本,默认情况下版本号自动分配,是单元格插入的时间戳
5)无类型:Hbase中的数据都是字符串,没有类型
6)稀疏:对于NULL的列,并不占用存储空间,可以设计的非常稀疏
7)数据多版本

系统结构(架构):

       RegionServer的作用
维护master分配给他的region,处理对这些region的io请求。
        负责切分正在运行过程中变的过大的region。


Master的作用
为Region server分配region

负责Region server的负载均衡

发现失效的Region server并重新分配其上的region。


Zookeeper的作用:
保证任何时候,集群中只有一个master
存储所有Region的寻址入口
实时监控Region server的上线和下线信息。并实时通知给master
存储HBase的table元数据

Hbase基本概念:

RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。
   Column Family:列族,拥有一个名称(string),包含一个或者多个相关列
   Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加
   Version Number:类型为Long,默认值是系统时间戳,可由用户自定义
   Value(Cell):Byte array
    


Hbase物理模型:

1、Table中所有行都按照row key的字典序排列;
2、Table在行的方向上分割为多个Region;
3、Region按大小分割的,每个表开始只有一个region,随着数据增多,region不断增大,当增大到
一个阀值的时候,region就会等分会两个新的region,之后会有越来越多的region;
4、Region是Hbase中分布式存储和负载均衡的最小单元,不同Region分布到不同RegionServer上。
5、Region虽然是分布式存储的最小单元,但并不是存储的最小单元。Region由一个或者多个Store组成,每个store保存一个column family;每个Strore又由一个memStore和0至多个StoreFile组成,StoreFile包含HFile;memStore存储在内存中,StoreFile存储在HDFS上。
         




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值