Hbase和HIve区别

1 篇文章 0 订阅

Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用

Hive可以使用HQL语言查询存放在HDFS上的数据,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询

Hbase是非结构化半结构化数据库,运行在HDFS之上,key value数据库,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务,Hbase被分区为表格,表格又被进一步分割为列簇

两者的特点

  Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的,同时,它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间,因为它会默认遍历表中所有的数据。虽然有这样的缺点,一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询,这些数据集存储在不同的文件夹内,查询的时候只遍历指定文件夹(分区)中的数据。这种机制可以用来,例如,只处理在某一个时间范围内的文件,只要这些文件名中包括了时间格式。

    HBase通过存储key/value来工作。它支持四种主要的操作:增加或者更新行,查看一个范围内的cell,获取指定的行,删除指定的行、列或者是列的版本。版本信息用来获取历史数据(每一行的历史数据可以被删除,然后通过Hbase compactions就可以释放出空间)。虽然HBase包括表格,但是schema仅仅被表格和列簇所要求,列不需要schema。Hbase的表格包括增加/计数功能。

应用场景:

hive:对一段时间内的数据进行分析查询(统计查询)

hbase:非常适合用来进行大数据的实时查询(实时查询)

限制:

Hive目前不支持更新操作。Hive必须提供预先定义好的schema将文件和目录映射到列,并且Hive与ACID不兼容。

HBase查询是通过特定的语言来编写的,这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现,但这是以必须提供schema为代价的。另外,Hbase也并不是兼容所有的ACID特性,虽然它支持某些特性。最后但不是最重要的--为了运行Hbase,Zookeeper是必须的,zookeeper是一个用来进行分布式协调的服务,这些服务包括配置服务,维护元信息和命名空间服务。

  • Hive 可以用来进行统计查询,HBase 可以用来进行实时查询
  • Hive 目前不支持更新操作,Hive运行需要花费很长时间,
  • Hive 适合用来对一段时间内的数据进行分析查询
  • Hive 不应该用来进行实时的查询。因为它需要很长时间才可以返回结果
  • Hive不支持事务
  1. 为了运行Hbase,zookeeper是必须的
  2. Hbase非常适合用来进行大数据的实时查询
  3. Hbase 的能够在它的数据库上实时运行,而不是运行MapReduce 任务。

 

 

 

 

 

https://www.cnblogs.com/justinzhang/p/4273470.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值