Data mining - pyspark环境配置

前期准备

Data Mining 之前，进行环境的配置工作，我们使用Hadoop spark和Scala进行数据处理，安装之前我们需要了解所用的软件，Java， python，spark.

软件版本

JAVA：1.8
Python：3.6
Spark：2.3.3
Scala: 2.11

JAVA 安装与配置

安装

JAVA安装很简单
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
官网下载，然后一系列同意，安装之后，就完成了。

配置

找到安装下的目录content里面有所需要的内容，记下路径。

打开terminal后：

touch ~/.bash_profile

然后输入相应的内容：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$SCALA_HOME$PATH
export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar"

JAVA_HOME就是之前下载的路径。