MAC下安装SPARK

@MAC 下安装Saprk

参考: https://cloud.tencent.com/developer/article/1423508
1.搭建hadoop
2.执行:brew install scala
终端执行:scala -version查看是否安装成功

3. 命令行输入: vim ~/.bash_profile 增加环境变量
   export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本)
   export PATH=$PATH:$SCALA_HOME/bin
   安装spark
4. 进入官网下载: http://spark.apache.org/downloads.html
   
   (注意选择对应的hadoop版本)
   2. 下载1解压之后将文件夹移动到/usr/local/目录, 然后命令行进入 cd /usr/local 目录,更改文件夹名称: sudo mv ./spark-3.0.0… ./spark
   3. 命令行输入:vim ~/.bash_profile 进行编辑,增加环境变量
   export SPARK_HOME=/usr/local/spark
   export PATH=$PATH:$SPARK_HOME/bin
   之后保存退出(:wq)
   4. 执行 source ~/.bash_profile , 使之生效
   5. 配置 spark-env.sh
   进入到spark目录的配置文件:cd /usr/local/spark/conf
   cp spark-env.sh.template spark-env.sh 拷贝文件
   打开拷贝后的spark-env.sh : vim spark-env.sh ,在里面加入内容:
   export SCALA_HOME=/usr/local/Cellar/scala/2.13.2
   export SPARK_MASTER_IP=localhost
   export SPARK_WORKER_MEMORY=4G
   6. 执行 spark-shell 出现如下画面,安装成功