Spark3 Mac单机环境搭建

1 相关准备

  若已配置JDK和Scala，可跳过此步骤。

1.1 JDK安装

  Spark需要JDK版本8以上，以下以JDK8安装为例
JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  下载完成后，点击安装包，一路继续完成安装。

  配置JDK环境变量，JDK目录地址需通过 /usr/libexec/java_home -V 命令查看，下图中红框内为JDK目录地址。

  在终端输入vim ~/.bash_profile添加JDK地址。

#添加如下内容
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin:
#退出执行source ～/.bash_profile

  在环境变量配置完成后，在终端输入java -version，若输出版本号则安装完成。

$ java -version
#输出
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

1.2 Scala安装

  Scala下载地址：https://www.scala-lang.org/download/

  解压下载的Scala压缩包，例如Scala解压至/Users/xx/

tar -xzf scala-2.13.1.tgz -C /Users/xx/

  配置Scala环境变量，在终端输入vim ~/.bash_profile添加Scala目录地址。

#添加如下内容
#添加SCALA文件夹目录地址
export SCALA_HOME=/Users/xx/scala-2.13.1
export PATH=$SCALA_HOME/bin:$PATH
#退出执行source ～/.bash_profile

  在终端输入scala -version输出对应版本信息则安装无误。

2 Spark安装配置

2.1 Spark 下载

  Spark下载地址：http://spark.apache.org/downloads.html

  解压下载的Scala压缩包，例如Spark解压至/User/xx/

tar -xzf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /User/xx/

2.2 Spark环境配置

2.2.1 配置spark-env文件

  (1)将conf目录下的spark-env.sh.template重命名为spark-env.sh
  (2)在spark-env.sh文件中添加如下内容。

#添加如下内容
#配置JAVA_HOME
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
#配置Scala_HOME
export SCALA_HOME=/Users/xx/scala-2.13.1
#配置Spark_HOME
export SPARK_HOME=/Users/xx/spark-3.0.0-preview2-bin-hadoop2.7

2.2.2 环境变量配置

  配置Spark环境变量，在终端输入vim ~/.bash_profile

#添加如下内容
#添加配置Spark文件夹目录地址
export SPARK_HOME=/Users/xx/spark-3.0.0-preview2-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:
export PYSPARK_PYTHON=python3.6
#退出，执行source ~/.bash_profile

  注：若需要Python3需更改，需要设置PYSPARK_PYTHON

3 Local模式测试

  在终端输入pyspark，并可在浏览器中查看，localhost:4040