IDEA中Spark配置

xing_mo

已于 2022-11-11 17:50:24 修改

阅读量2.3k

点赞数

分类专栏： Spark 文章标签： spark intellij-idea scala

于 2022-11-11 17:48:15 首次发布

本文链接：https://blog.csdn.net/xing_mo/article/details/127810416

版权

Spark 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

scala和spark版本对应关系：https://blog.csdn.net/qq_34319644/article/details/115555522

这里采用jdk1.8+spark3.0+scala2.12

先配置scala 2.12：

官网：https://www.scala-lang.org/download/2.12.17.html

tar -zxf scala-2.12.17.tgz

vim .bashrc

export SCALA_HOME=/home/xingmo/sdk/scala
export PATH=$PATH:$SCALA_HOME/bin

source .bashrc

IDEA安装scala插件：file->setting

在这里插入图片描述

添加libraries：file->project structure

在这里插入图片描述

scala测试：

package spark.core

object Test {
  def main(args:Array[String]):Unit = {
    println("Hello Spark")
  }
}

jdk版本记得切换：

可参考：https://blog.csdn.net/weixin_45490198/article/details/125119932

在这里插入图片描述

mave依赖：

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
    </dependencies>

配置完成，测试代码：

package spark.core.wc

import org.apache.spark.{SparkConf, SparkContext}

object Spark01_WordCount {
  def main(array: Array[String]):Unit={
    // TODO 建立和Spark框架的连接
    val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparConf)

    // TODO 执行业务操作

    // TODO 关闭连接
    sc.stop()
  }
}