大数据开发解析HBase和Hive的查询处理速度对比

本文探讨了HBase和Hive在查询处理速度上的差异。Hive基于批处理的MR,适合非实时读写,而HBase提供实时计算服务。HBase的架构包括LSM-Tree、HTable和Cache,使其在写入和读取速度上具有优势,尤其在按rowkey查询时。相比之下,Hive的查询涉及MapReduce,速度较慢。
摘要由CSDN通过智能技术生成

今天给大家介绍一下关于HBase和Hive的查询处理速度对比,首先Hive的底层首先是MR,是属于批处理处理时间相对较长,不属于实时读写,在其架构上HBase和Hive有很大的区别,下面我们一起来看一下吧。

Hive架构:

扣丁学堂大数据开发解析HBase和Hive的查询处理速度对比

(1)用户接口主要有三个:CLI,Client和WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至HiveServer。在启动Client模式的时候,需要指出HiveServer所在节点,并且在该节点启动HiveServer。WUI是通过浏览器访问Hive。

(2)Hive将元数据存储在数据库中,如mysql、derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

(3)解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。

(4)Hive的数据存储在HDFS中,大部分的查询、计算由MapReduce完成(包含*的查询,比如select*fromtbl不会生成MapRedcue任务)。

HBase架构:

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值