IDEA在Java项目里编写Scala代码，并在本地调试Spark程序

最新推荐文章于 2022-06-12 10:12:49 发布

小铭丶

最新推荐文章于 2022-06-12 10:12:49 发布

阅读量1.1k

点赞数

分类专栏：大数据文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_38042339/article/details/107049872

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文详细介绍了如何在IntelliJ IDEA中配置Scala插件，设置SDK，引入Maven插件，以及如何编写和运行Spark程序。通过具体示例展示了如何使用Scala进行WordCount任务的实现。

摘要由CSDN通过智能技术生成

下载IDEA插件

下载Scala插件
在这里插入图片描述
下载完成后重启IDEA

设置SDK

在这里插入图片描述

引入编译Scala对应的maven插件

<build>
    <pluginManagement>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
            </plugin>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
            </plugin>
        </plugins>
    </pluginManagement>
    <plugins>
        <plugin>
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <executions>
                <execution>
                    <goals>
                        <goal>compile</goal>
                        <goal>testCompile</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <executions>
                <execution>
                    <phase>compile</phase>
                    <goals>
                        <goal>compile</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

编写Scala代码

注意项目目录结构

在这里插入图片描述

引入Spark依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.0.0</version>
</dependency>

注意这里的_2.12是Scala语言版本，版本必须对齐，否则会报类型错误。

object WordCount {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("wordCountTest").setMaster("local[4]")
    val sc = new SparkContext(sparkConf)
    val lineRdd: RDD[String] = sc.parallelize(List("Wap","Xu","Wap"))
    val teacherAndOne: RDD[(String, Int)] = lineRdd.map(line => {
      (line, 1)
    })
    val reduced: RDD[(String, Int)] = teacherAndOne.reduceByKey(_+_)
    val resultArray: Array[(String, Int)] = reduced.collect()
    print(resultArray.toList)
    sc.stop()
  }
}