其实mac ,windos ,linux 配置方法都是一样的,要安装spark,首先要按照hadoop,因为spark的存储依赖hadoop,要按照hadoop,就要安装jdk,因为spark是scala开发的,所有也需要安装sacal.
一、java安装(jdk)
java版本1.8默认系统安装位置:
/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
二、hadoop安装
不需要
三、scala安装
官网下载Scala:http://www.scala-lang.org/download/
解压
tar -xzf scala-2.12.6.tgz
配置变量
Mac的环境变量是:vi .bash_profile
export SCALA_HOME=/安装路径/scala-2.12.6
export PATH=$PATH:$SCALA_HOME/bin
验证
终端输入scala
四、spark安装
官网下载安装包:http://spark.apache.org/downloads.html
解压到指定的目录
tar -xzf spark-2.3.1-bin-hadoop2.7.tgz
配置环境变量(Mac是 ~/.bash_profile)
export SPARK_HOME=/Users/liubowen/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=${PATH}:${SPARK_HOME}/bin
source ~/.bash_profile
打开mac远程登录设置
系统偏好设置 => 共享 => 远程登录
启动
进入spark安装目录下sbin
./start-all.sh
访问spark页面:http://localhost:8080/