sparkSQL sparkSQL操作hiveSQL

sparkSQL操作hiveSQL

sparkSQL操作hiveSQL并不是sparkSQL on hive。

• sparkSQL操作hiveSQL底层运行的依然是MR程序
• sparkSQL on hive是把hive当做数据源，spark作为计算引擎。

核心：开启hive依赖

enableHiveSupport() 

sparkSQL操作hiveSQL来操作本地文件

此示例，并比要求本地有hive和MySQL，只是单纯的演示sparkSQL如何操作hiveSQL
代码如下

import org.apache.spark.sql.SparkSession

object OPhiveSQL {
   
  def main(args: Array[String]): Unit = {
   
    //1、构建SparkSession对象
    val spark: SparkSession = SparkSession.builder()
      .appName("HiveSupport")
      .master("local[2]")
      .enableHiveSupport() //开启对hive的支持</