Spark本地模式运行环境搭建

Spark本地模式运行环境搭建

---

前言

Spark程序有四种运行环境，分别如下：

本地模式
​1、local -> 主要用于开发(IDEA中运行)和开发的测试(spark-shell运行)

​ 集群模式

​2、standalone -> 将spark应用运行在spark自带的资源管理器上
​3、yarn -> 将spark应用运行在yarn上， 80%的公司选择将程序运行在yarn上
4、mesos -> 将spark应用运行在mesos上
(注：本文仅包括前三种Spark运行环境的搭建）

---

一、基于IDEA和Maven的Spark开发环境搭建

1.1 IDEA中增加Scala插件

注意：插件安装完了之后，记得重启一下IntelliJ IDEA使得插件能够生效。

1.2 配置全局的Scala SDK

①：新建Maven项目步骤：文件->new->项目->maven
②：打开项目结构：文件->项目结构
添加Scala SDK

有两种选择Scala SDK方式：
方式一：下载Scala
方式二：使用已安装的Scala SDK

选择好SDK后，要选择模块将SDK添加到模块中

1.3 添加Spark依赖关系

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
</dependencies>

1.4 WordCount测试案例

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

obj