HBase基础入门|原理

HBase是一个面向海量数据的分布式KV数据库,运行在HDFS之上,支持大规模数据存储。文章介绍了HBase的基本概念,如Region、RegionServer、Master、rowKey和单元格,以及与传统数据库的区别。此外,还探讨了HBase的模块,包括Master、RegionServer和Zookeeper的角色,以及双主集群下的一致性策略和二级索引实现。内容还涵盖了HBase的数据结构和优化策略,如rowKey设计对性能的影响。
摘要由CSDN通过智能技术生成

HBase是一个面向海量数据场景,分布式的、多版本、面向列的开源KV数据库。运行在HDFS的基础上,支持PB级别、百万列的数据存储。

基本概念

Region

    • 数据的集合,HBase中的一个表拥有1到多个Region,一个Region是多个row的集合,在Region中排序是按照rowKey进行字典排序。
    • Region不能跨服务器,一个RegionServer上有一个或者多个Region
    • 数据量小的时候一个Region足以存储所有数据,当数据量足够大时会对Region进行拆分
    • 当HBase进行负载均衡的时候,有可能从一台机器的RegionServer上把Region移动到另一台RegionServer上

RegionServer

    • 一个服务器一般只会安装一个RegionServer,如果安装多个,修改默认端口去部署
    • 当客户端从Zookeeper获取RegionServer地址之后,会直接从RegionServer获取数据
    • 插入、删除等操作都是直接操作RegionServer,不需要经过master

Master

只负责各种例如建表、删表、移动Region、合并等操作。他们的共性就是需要跨RegionServer,这些操作由哪个RegionServer都不合适,所有HBase将这些操作放到了Master。

rowKey

完全由用户指定的一串不重复的字符串。根据字典排序,如果插入HBase的时候rowKey出现碰撞,就会把之前的row更新掉。之前的数据会被放到拉链表里面,需要根据版本号才能查询该被覆盖调的数据。

单元格

一个列上可以存储多个版本的单元格,单元格就是数据存储的最小单元,多个版本的值存储在多个单元格里面,多个版本之间用版本号version来区分,所以唯一确定一条数据的表达式rowKey && column family && column && version。如果不写版本号,默认返回是最后一个版本的数据,每一个列或者单元格的值都被赋予了一个时间戳,这个时间戳可以自动生成,也可以用户自定义。

column family(列族)

在HBase中,若干列可以组成列族。

HBase会把想用的列族信息尽量放到同一台机器上,如果想让某几列被放到一起,就给他们使用相同的列族。一个表要设置的列族越少越好,因为HBase不希望用户指定太多的列族,虽然HBase是分布式数据库,但是数据分布在同一台机器上数据查询会更快。

HBase中每一行数据都是离散的,因为列族,一行里不同的列会被分配到不同的服务器,行的概念被削弱到一个抽象的存在。如果多个列标记为同一个rowKey,则说明他们是同一行数据。

在HBase中,每一个存储语句都必须精确的写出数据要被存储到哪些单元格,而单元格是由表是由表:列族:行:列来定义,也就是说一行10列的数据要精确的写出数据被存储哪个表哪个列族的哪一行的哪一列,而传统数据库存储语句可以把整行数据一次性写在行语句里。例如(HBase版本:hbase:0.94-adh3u11.7.9):

HTablePool hTablePool;
Configuration conf = HBaseConfiguration.create();
conf.setBoolean(DiamondAddressHelper.DIMAOND_HBASE_UNITIZED, true);
conf.set(DiamondAddressHelper.DIAMOND_HBASE_KEY_NEW, "");
conf.set(DiamondAddressHelper.DIAMOND_HBASE_GROUP, "");
this.hTablePool = new HTablePool(conf, Integer.valueOf(htablePoolMaxSize));
HTableInterface table = this.hTablePool.getTable("表名");
// 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值