使用IDEA编写Spark应用程序（Windows+Maven+Scala）

1、新建Maven工程

File->New->Project->Maven->Next

Name:SimpleApp，如下所示：

2、修改pom.xml配置文件，如下所示：

参考：https://search.maven.org/search?q=g:org.apache.spark

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>SimpleApp</artifactId>
    <version>1.0-SNAPSHOT</version>
    
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0-preview2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.0.0-preview2</version>
        </dependency>
    </dependencies>

</project>

3、激活自动导入

在右下角自动弹出的对话框中选择“Enable Auto-Import”，如下所示：

4、添加框架支持

在项目名称上单击右键，在弹出的对话框中选择“Add Framework Support”，如下所示：

在弹出的对话框左侧选择“Scala”，右侧选择“scala-sdk-2.12.10”，如下所示：

注意：IDEA需要提前安装Scala，参考Scala官方文档：https://docs.scala-lang.org/getting-started/intellij-track/getting-started-with-scala-in-intellij.html

5、生成package，如下所示：

在弹出的对话框中输入“com.example”，如下所示：

6、生成Scala类，如下所示：

在弹出的对话框中输入“SimpleApp”，如下所示：

7、添加SimpleApp类内容，如下所示：

参考Spark官方文档：http://spark.apache.org/docs/latest/quick-start.html#self-contained-applications

package com.example

import org.apache.spark.sql.SparkSession

object SimpleApp {
  def main(args: Array[String]) {
    // val logFile = "YOUR_SPARK_HOME/README.md"
    // 应该是你系统上的一些文件
    val logFile = "D:\\IdeaProjects\\Spark\\SimpleApp\\src\\main\\resources\\data.txt"
    val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    spark.stop()
  }
}

8、添加SimpleApp/src/main/resources/data.txt，如下所示：

hello world
hello spark
hello baby

9、配置运行环境

Run->Edit Configurations->Application，如下所示：

注意：VM options :  -Dspark.master=local

10、启动Spark服务，如下所示：

11、运行服务

在SimpleApp.scala类上单击右键，在弹出的对话框中选择“Run ‘SimpleApp’”，如下所示：

12、运行结果，如下所示：