Mac python安装spark

这里安装的pyspark似乎只能用来测试

首先我们需要到官网上下载spark

官网链接：https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
这里下载速度比较慢，建议科学上网

其次我们需要把下载下来的安装包拷贝到/usr/local目录下

sudo mv spark-2.3.0-bin-hadoop2.7.tgz /usr/local

接下来解压文件

tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz

再使用pip3安装pyspark

pip3 install pyspark
这里下载同样也比较慢，建议科学上网

设置环境变量

vim ~/.bash_profile
在最后添加

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

之后再source ~/.bash_profile

启用python3

因