ideal上连接hive集群配置要注意的问题

最新推荐文章于 2024-04-25 00:23:05 发布

阳光下的沃土

最新推荐文章于 2024-04-25 00:23:05 发布

阅读量150

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/yangzhijun6699/article/details/107576183

版权

1.导入响应的依赖

###pom.xml文件对应一下配置，一定要注意spark系列版本要一致，否则导入了包，依然说找不到

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-graphx_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>

###传入集群上的配置文件
在这里插入图片描述
###scala中代码中要加入hive支持

val spark: SparkSession = SparkSession.builder()
      .appName(this.getClass.getSimpleName)
      .master("local")
      .enableHiveSupport().getOrCreate()