spark安装及环境配置（win10）

本人环境：win10

安装spark环境所需的安装包已经打包好，放在文末的网盘中，只需解压后配置下面步骤中的环境变量即可。

安装包及步骤：

• Jdk + 环境变量配置
• Hadoop + 环境变量配置
• Spark + 环境变量配置
• Scala

JDK:

下载官网

根据电脑配置选择要下载的版本，本人下载的是jdk-8u211-windows-x64

环境变量配置

• 在系统变量中添加：

  变量名：JAVA_HOME
  变量值：安装路径

  如下图所示，D:\spark_home\Java\jdk1.8.0_211是本人jdk的安装路径
  

• 在系统变量中添加：

  变量名：CLASSPATH
  变量值：%JAVA_HOME%\lib

• 在Path中添加：

  %JAVA_HOME%\bin

Hadoop:

下载网址：

本人下载的是hadoop-2.7.5

环境变量配置：

• 在系统变量中添加：

  变量名：HADOOP_HOME
  变量值：安装路径

如下图所示：D:\spark_home\hadoop-2.7.5是本人的安装路径

• 在Path中添加：

  %HADOOP_HOME%\bin

用winutils-master中对应版本的bin文件替换掉，hadoop安装文件中的bin文件

winutils-master文件在文末网盘中

Spark

下载官网：

本人下载的是spark-2.4.2-bin-hadoop2.7

环境变量配置：

• 在系统变量中添加：

  变量名：SPARK_HOME
  变量值：安装路径

如下图所示：D:\spark_home\spark-2.4.2-bin-hadoop2.7是本人的安装路径

• 在Path中添加：

  %SPARK_HOME%\bin
  %SPARK_HOME%\sbin

Scala:

下载网址

本人下载的是2.13.3版本的

验证是否安装成功：

• 重启电脑
• win + R：打开cmd，进入命令框
• 输入：spark-shell

我们可以看到spark安装成功

pyspark安装：

命令框中安装：

pip install findspark

现在就可以用python愉快的学习spark了：

import findspark        # 通过findspark导入spark
findspark.init()

import pyspark          
from pyspark import SparkContext  
sc = SparkContext.getOrCreate()     # 初始化SparkContext

nums = [1,2,3,4,5]
rdd = sc.parallelize(nums)
rdd.collect()

输出：
[1, 2, 3, 4, 5]

安装包：

链接：https://pan.baidu.com/s/1ESOdhW35YUrxNt9-NAjm1A
提取码：ngin