Spark-sql与Hive的关系

最新推荐文章于 2024-09-12 18:00:00 发布

sososo425

最新推荐文章于 2024-09-12 18:00:00 发布

阅读量1.7k

点赞数

文章标签：环境 hive 安装引擎解析

本文链接：https://blog.csdn.net/sososo425/article/details/80130020

版权

                    
                    spark sql 在某些部分是重用的Hive的东西，比如语法解析、元数据存储，到执行计划的翻译部分。HiveQL可以翻译成mapreduce执行，也可以翻译成spark执行计划执行。
在同时安装了Hive和spark时，我使用hive下的beeline执行HQL,执行引擎是mapreuce;使用spark下的spark-beeline执行HQL，执行引擎是spark。
不管是上面哪种方式执行 HQL的 DDL，create table,在两个shell环境都能看得到；也能确认spark复用了Hive的元数据管理。
现在是不是没有hive-on-spark的说法了？现在的新版本就只叫spark sql 了吧。