HBase与Hadoop生态其他组件的联系

1.1 定义

HBase是一种分布式可扩展支持海量数据存储NoSQL数据库。

分布式体现:底层存储在HDFS;集群中的Regionserver服务器也是分布式运行。

可扩展体现:在建表的时候无需指定具体的列,在插入具体数据时指定;可以通过简单的增加机器来增加存储量。

1.2 应用场景

1. 写密集型应用,每天写入量巨大,而相对读数量较小的应用,比如IM的历史消息,游戏的日志等等

2. 不需要复杂查询条件来查询数据的应用,HBase只支持基于rowkey的查询,对于HBase来说,单条记录或者小范围的查询是可以接受的,大范围的查询由于分布式的原因,可能在性能上有点影响,而对于像SQL的join等查询,HBase无法支持。

3. 对性能和可靠性要求非常高的应用,由于HBase本身没有单点故障,可用性非常高。

4. 数据量较大,而且增长量无法预估的应用,HBase支持在线扩展,即使在一段时间内数据量呈井喷式增长,也可以通过HBase横向扩展来满足功能。

1.3 在Hadoop生态中与各个组件的关联

在这里插入图片描述

  1. HBase其实是 Hadoop database的简称,它的数据文件(storeFile、WAL等)存储在HDFS上。
  2. HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口(当HBase读写数据时,需要从Zookeeper中查询meta表所处的Regionserver信息从而获取到需要读写的表格的位置信息)以及集群配置的维护等工作。
    从而获取到需要读写的表格的位置信息)以及集群配置的维护等工作。
  3. HBase中有Column Family的概念,简称为CF。CF一般用于将相关的列(Column)组合起来。在物理上HBase其实是按CF存储的,只是按照Row-key将相关CF中的列关联起来。Hbase对数据的存储方式和数据结构进行的修改和规整(K-V形式),使其更加善于去处理大数据的场景,此在Hadoop MapReduce运行计算时能够提供更好的底层支持。
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值