Hive On Spark2.0.0 搭建

      Hive作为Hadoop家族成员中一份子,在现在的离线数据分析中的重要性已经不用多说。但是众所周知,hive是以MR程序跑在YARN集群上的,这其中的酸爽,想必用过的都说好了。随着技术的进步,Hive的开发者也已经意识到了MR的效率已经不能满足很多的日常需求,所以从hive二代开始,尝试着用spark引擎来替换掉MR,到现在为止,已经hive已经能支持几个版本的spark了。好了,下面就来搞一下hive-on-spark。

     由于现在hive-on-spark只是出于测试期间,所以两者之间有着严重的依赖关系,下图是hive官网对hive-on-spark对应版本的说明(https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started):

    

    Hive on Spark is only tested with a specific version of Spark, so a given version of Hive is only guaranteed to work with a specific version of Sp

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页