Hbase的应用场景及特点

一、hbase能做什么

1.1、海量数据存储

• 上百亿行、上百万列

• 当表的非常大的时候才能发挥这个作用，最多百万行的话，没有必要放入了hbase中

1.2、准实时查询

• 百亿行、百万列，在百毫秒内以内

二、Hbase在实际场景中的应用

2.1、交通方面

• 船舶GPS信息，全长江的船舶GPS信息，每天有1千万左右的数据存储。

2.2、金融方面

• 消费信息、贷款信息、信用卡还款信息等

2.3、电商方面

• 电商网站的交易信息、物流信息、游览信息等

2.4、电信方面

• 通话信息、语音详单等

三、Hbase的特点

3.1、容量大

• 传统关系型数据库，单表不会超过五百万，超过要做分表分库，不会超过30列

3.2、面向列

• 面向列的存储和权限控制，并支持独立检索，可以动态增加列，即，可单独对列进行各方面的操作

• 列式存储，其数据在表中是按照某列存储的，这样在查询只需要少数几个字段的时候，能大大减少读取的数量

3.3、多版本

• Hbase的每一个列的数据存储有多个Version，比如住址列，可能有多个变更，所以该列可以有多个version

3.4、稀疏性

• 为空的列并不占用存储空间，表可以设计的非常稀疏。

• 不必像关系型数据库那样需要预先知道所有列名然后再进行null填充

3.5、拓展性

• 底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加datanode节点服务(机器)就可以了

3.6、高可靠性

• WAL机制，保证数据写入的时候不会因为集群异常而导致写入数据丢失

• Replication机制，保证了在集群出现严重的问题时候，数据不会发生丢失或者损坏

• Hbase底层使用HDFS，本身也有备份。

3.7、高性能

• 底层的LSM数据结构和RowKey有序排列等架构上的独特设计，使得Hbase写入性能非常高。

• Region切分、主键索引、缓存机制使得Hbase在海量数据下具备一定的随机读取性能，该性能针对Rowkey的查询能够到达毫秒级别

• LSM树，树形结构，最末端的子节点是以内存的方式进行存储的，内存中的小树会flush到磁盘中（当子节点达到一定阈值以后，会放到磁盘中，且存入的过程会进行实时merge成一个主节点，然后磁盘中的树定期会做merge操作，合并成一棵大树，以优化读性能。）

  • LSM树的介绍：https://www.cnblogs.com/yanghuahui/p/3483754.html