超级会员免费看
本文详细介绍了如何将SparkSQL与Hive整合，包括SparkSQL整合Hive的步骤，如拷贝hive-site.xml到Spark配置目录，添加mysql连接驱动，以及测试整合是否成功。还讲解了IDEA中整合Hive的实践，Hive的MetaStore服务开启，以及通过SparkSQL操作Hive表的方法。最后探讨了SparkSQL的日常使用场景和开发流程。
SparkSQL官方文档(3.0.1)：
sql-programming-guide.html
sql-data-sources-hive-tables
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如文本、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。SparkSql整合hive就是获取hive表中的元数据信息，然后通过SparkSql来操作数据。
订阅专栏 解锁全文
扫一扫
2867
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
