impala与hive的区别

从功能性的角度来看,impala与hive的主要区别在于响应时间。
对于同一个查询语句,impala能够更快的给出查询结果。impala是如何实现的呢?
主要是从三个角度来实现。
1.执行计划
impala没有采用mapreduce执行框架,它将执行计划表现为执行计划树,可以分发执行计划到各个impalad,避免了中间的sort和shuffle。
2.数据流
impala采用拉的方式。表现形式,可以看作执行查询语句,不会出现所有的查询结果。在当前查询结果的基础上继续查询时,才能有新的结果出现。
3.内存使用
hive在内存不够时,可使用外存。而impala则会返回错误。

由以上特点来看,impala的缺点也很明显:
1.impala不支持分桶,cluster by, distribute by ,sort by 。本质原因就是因为impala不使用mapreduce
2.impala不适用于数据大批量的处理转化,因为数据过大会返回错误。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值