IDEA 本地运行Spark

1、背景

主要用于本地阅读Spark源码，同时也可以用于实战运行spark程序

2、环境准备

jdk : 1.8+
scala: 2.12+ （Spark 3x要求 scala版本2.12）

3、 具体流程

3.1 IDEA创建maven项目

File->Maven->Next

注意事项：

1. 配置maven 国内镜像，用于加速下载jar包
   参考：https://developer.aliyun.com/article/695269
2. 配置idea scala sdk, File–Project Structure–Platform Settings–Global Libreries，用于项目中新建scals class文件
   参考：https://blog.csdn.net/xuebahuobao/article/details/98207566

3.2 pom.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>spark-test</artifactId>
    <version>