根据这个课程进行配置 https://www.bilibili.com/video/av27076260/?p=10
依次安装配置了
- vagrant
- virtualbox
- java12(对,问题就出在这里,按照课程讲的安装java没有成功,就自己安装了最新的java12)
- spark
启动pyspark一直报错:
Exception: Java gateway process exited before sending its port number
各种查资料后(主要是这个页面https://github.com/jupyter/jupyter/issues/248),找到原因:不能安装最新的java12,必须是java8! 并且需要配置java和spark的环境变量
然后,
- 依据这里卸载java12https://blog.csdn.net/mouday/article/details/81085546
- 依据这里的https://github.com/jupyter/jupyter/issues/248最后一个回复的语句安装java8:
brew tap caskroom/versions
brew cask install java8
3.配置java环境变量(这个资料比较多,可以自己百度,我是这样配置的):
在~/.bash_profile文件最后加入:
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH
4.配置spark环境变量(资料同样有很多):
在~/.bash_profile文件加入:
export SPARK_HOME=/Users/username/opt/spark-2.4.1-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin
5.最后别忘了让source ~/.bash_profile使配置文件生效。