Spark3.0 Mac单机环境搭建
1 相关准备
若已配置JDK和Scala,可跳过此步骤。
1.1 JDK安装
Spark需要JDK版本8以上,以下以JDK8安装为例
JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载完成后,点击安装包,一路继续完成安装。
配置JDK环境变量,JDK目录地址需通过 /usr/libexec/java_home -V 命令查看,下图中红框内为JDK目录地址。
在终端输入vim ~/.bash_profile添加JDK地址。
#添加如下内容
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin:
#退出执行source ~/.bash_profile
在环境变量配置完成后,在终端输入java -version,若输出版本号则安装完成。
$ java -version
#输出
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)
1.2 Scala安装
Scala下载地址:https://www.scala-lang.org/download/
解压下载的Scala压缩包,例如Scala解压至/Users/xx/
tar -xzf scala-2.13.1.tgz -C /Users/xx/
配置Scala环境变量,在终端输入vim ~/.bash_profile添加Scala目录地址。
#添加如下内容
#添加SCALA文件夹目录地址
export SCALA_HOME=/Users/xx/scala-2.13.1
export PATH=$SCALA_HOME/bin:$PATH
#退出执行source ~/.bash_profile
在终端输入scala -version输出对应版本信息则安装无误。
2 Spark安装配置
2.1 Spark 下载
Spark下载地址:http://spark.apache.org/downloads.html
解压下载的Scala压缩包,例如Spark解压至/User/xx/
tar -xzf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /User/xx/
2.2 Spark环境配置
2.2.1 配置spark-env文件
(1)将conf目录下的spark-env.sh.template重命名为spark-env.sh
(2)在spark-env.sh文件中添加如下内容。
#添加如下内容
#配置JAVA_HOME
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
#配置Scala_HOME
export SCALA_HOME=/Users/xx/scala-2.13.1
#配置Spark_HOME
export SPARK_HOME=/Users/xx/spark-3.0.0-preview2-bin-hadoop2.7
2.2.2 环境变量配置
配置Spark环境变量,在终端输入vim ~/.bash_profile
#添加如下内容
#添加配置Spark文件夹目录地址
export SPARK_HOME=/Users/xx/spark-3.0.0-preview2-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:
export PYSPARK_PYTHON=python3.6
#退出,执行source ~/.bash_profile
注:若需要Python3需更改,需要设置PYSPARK_PYTHON
3 Local模式测试
在终端输入pyspark,并可在浏览器中查看,localhost:4040