在Mac OSX上配置PySpark
2016-04-20 22:03:28
安装环境
系统:OSX - 10.11.1 (15B42)
内核版本:Darwin Kernel Version 15.0.0
Python版本:2.7.10
GCC版本:4.2.1
引言
上一篇文章我已经在Linux虚拟机
里面配置了PySpark了,这里按照之前的步骤应该就可以了。但是OSX上面有一些细微配置不太一样。
配置过程
1.下载预构建好的Spark压缩包
进入Spark官网下载页面下载你需要的安装包,这里我选择预构建好的、现在最新的压缩包-Download Spark: spark-1.6.1-bin-hadoop2.6.tgz
,你也可以下载源码包自己在自己的环境下编译一遍。
2.解压压缩包
将这个压缩包解压并移动到你想要存放应用程序的目录下,你可以把它解压到比如说/Applications/
下,这个文件夹一般是保存应用程序的文件夹。
这里和Li