Windows 10 系统下的 Spark 环境搭建

目标：在windows下搭建一个spark运行环境，先进行单机开发，再把开发的程序提交到服务器上的spark环境运行。

安装版本：

SCALA 2.12.4

SPARK 2.2.1

HADOOP 2.7.3

SCALA安装

（1）去到scala官网下载需要的scala版本，这里选择的版本为2.12.4. 下载网址为：

           https://www.scala-lang.org/download/all.html

        

(2)  下载完成后直接双击安装，期间可以选择安装位置，这里选择的安装位置为：H:\spark_environment\scala，

        点击相应选项一步一步来就可以

          

（3）配置环境变量

        右键计算机 - 属性 - 高级系统设置 - 环境变量 - 新建系统变量:

        

             另外，在系统变量中选择“Path”,添加bin目录位置

        

（4）安装完毕确认

        修改完环境变量后，让系统重启，在命令行窗口中输入 scala，可以看到相应的版本信息

        

        scala安装完毕

SPARK安装

（1）下载可用的Spark版本，http://spark.apache.org/downloads.html，这里选择2.2.1，该版本已经经过编译，可以直接解压使用

（2）将下载的Spark选择合适的路径解压，这里选择H:\spark_environment\spark

（3）配置环境变量

    新建系统变量SPARK_HOME，将安装路径(H:\spark_environment\spark)添加到此变量

    并且H:\spark_environment\spark\bin添加到Path目录

（4）安装完毕

HADOOP安装

（1）下载需要的hadoop版本