如何在IDEA中编写Spark程序

环境搭建

1. 创建Maven项目

- 添加Spark依赖（在 pom.xml 中）：

<dependency>  

    <groupId>org.apache.spark</groupId>  

    <artifactId>spark-core_2.12</artifactId>  

    <version>3.5.0</version>  

</dependency>  

 

2. 配置Scala SDK

- 在IDEA中安装Scala插件，设置项目SDK为Scala版本（如2.12）

编写第一个Spark程序

1. 创建Scala类

import org.apache.spark.{SparkConf, SparkContext}  

object SparkWordCount {  

  def main(args: Array[String]): Unit = {  

    val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]")  

    val sc = new SparkContext(conf)  

    val text = sc.textFile("input.txt")  

    val words = text.flatMap(_.split(" "))  

    val counts = words.map(word => (word, 1)).reduceByKey(_ + _)  

    counts.saveAsTextFile("output")  

    sc.stop()  

  }  

}  

运行与调试

- 本地调试：设置 setMaster("local[*]") ，直接在IDEA中运行主类。

- 提交到集群：

1. 打包项目为JAR（Maven的 package 命令）。

2. 执行命令：

spark-submit --master yarn --class SparkWordCount /path/to/your.jar hdfs://input.txt  

常见问题

- 依赖冲突：确保Spark和Hadoop版本兼容，使用 provided  scope排除冲突依赖。

- 日志配置：在 src/main/resources 添加 log4j.properties ，简化日志输出。