参考: https://cloud.tencent.com/developer/article/1423508
1.搭建hadoop
2.执行:brew install scala
终端执行:scala -version查看是否安装成功
- 命令行输入: vim ~/.bash_profile 增加环境变量
export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本)
export PATH= P A T H : PATH: PATH:SCALA_HOME/bin
安装spark - 进入官网下载: http://spark.apache.org/downloads.html
(注意选择对应的hadoop版本)
2. 下载1解压之后将文件夹移动到/usr/local/目录, 然后命令行进入 cd /usr/local 目录,更改文件夹名称: sudo mv ./spark-3.0.0… ./spark
3. 命令行输入:vim ~/.bash_profile 进行编辑,增加环境变量
export SPARK_HOME=/usr/local/spark
export PATH= P A T H : PATH: PATH:SPARK_HOME/bin
之后保存退出(:wq)
4. 执行 source ~/.bash_profile , 使之生效
5. 配置 spark-env.sh
进入到spark目录的配置文件:cd /usr/local/spark/conf
cp spark-env.sh.template spark-env.sh 拷贝文件
打开拷贝后的spark-env.sh : vim spark-env.sh ,在里面加入内容:
export SCALA_HOME=/usr/local/Cellar/scala/2.13.2
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4G
6. 执行 spark-shell 出现如下画面,安装成功