spark 服务器 配置文件,Spark：安装及环境配置指南！

前篇文章介绍了scala的安装与配置、接下来介绍一下spark的安装及环境配置。

1、Apache spark下载

在浏览器输入网址https://spark.apache.org/downloads.html进入spark的下载页面，如下图所示：

下载时需要注意的是在第1步选择完spark版本之后的第2步“choose a package type ”时，spark与hadoop版本必须配合使用。因为spark会读取hdfs文件内容而且spark程序还会运行在HadoopYARN上。所以必须按照我们目前安装的hadoop版本来选择package type。我们目前使用的hadoop版本为hadoop2.7.5,所以选择Pre-built for Apache Hadoop 2.7 and later。

点击第3步Download Spark后的连接 spark-2.1.2-bin-hadoop2.7.tgz进入下图所示的页面。在国内我们一般选择清华的服务器下载，这下载速度比较快，连接地址如下：

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.2/spark-2.1.2-bin-hadoop2.7.tgz

2、安装spark

通过WinSCP将spark-2.1.2-bin-hadoop2.7.tgz上传到master虚拟机的Downloads目录下，然后解压到用户主目录下并更改解压后的文件名(改文件名目的是名字变短，容易操作)。解压过程需要时间，耐心等待哈。

解压完成后通过ls命令查看当前用户主目录，如下图所示增加了spark-2.1.2-bin-hadoop2.7文件目录

通过mv命令更改spa