博主建议对于初学者本地先搭个spark环境玩玩,搭建非常容易,平时测试一个小demo非常方便。因为服务器一般情况是只有内部网才能进行访问的,有些时候很不方便。后续会介绍如何在生产服务器上搭建不同模式下的Spark集群。
#安装jdk
这个就不详细介绍了,写程序的不会安装jdk那该考虑转行了。网上一搜一大堆。
#安装scala
参考: Mac安装Scala
#安装Spark
官网下载安装包:http://spark.apache.org/downloads.html
选择自己合适的版本下载
解压到指定的目录
tar -xzf spark-2.3.1-bin-hadoop2.7.tgz
配置环境变量(Mac是 ~/.bash_profile)
export SPARK_HOME=/Users/liubowen/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=${PATH}:${SPARK_HOME}/bin
source ~/.bash_profile
打开mac远程登录设置
系统偏好设置 => 共享 => 远程登录