Windows10系统spark3.0.0配置

前言

Windows10系统基本环境：spark3.0.0+hadoop3.1.0+scala2.12.0+java jdk1.8。

一、配置java jdk1.8

1. jdk环境变量配置

环境变量配置路径：电脑→属性→高级系统设置→环境变量

path中加入：%JAVA_HOME%/bin。
注：jdk版本不宜过高。

2. 配置验证

cmd验证：

java -version

二、配置scala2.12.0

1.下载scala安装包

官方下载网址：https://www.scala-lang.org/

选择对应版本，这里我选择的是scala2.12.0版本。

下载Windows系统对应的压缩包。

2. 配置scala环境

环境变量配置路径：此电脑→属性→高级系统设置→环境变量

path中加入：%SCALA_HOME%/bin。

3. 验证配置

cmd验证配置：

scala -version

三、配置Hadoop3.1.0

1.Hadoop下载

从Apache官网下载Hadoop：https://hadoop.apache.org/
官网下载速度较慢，也可使用国内镜像下载。

2. Hadoop环境变量配置

配置步骤同Scala配置。

注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。

3. Windows系统bin下载：

windows系统需要替换hadoop安装包里的bin文件夹。

不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。
下载成功直接覆盖本地bin。

4. 配置Hadoop启动文档和脚本

配置\etc\hadoop\下的如下5个文件。

（1）在core-site.xml末尾加入如下代码，代码中路径按照自己本地路径相应修改：

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:8900</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>E:/soft/hadoop-3.1.0/tmp/${user.name}</value>

<description>A base for other temporary directories.</description>

</property>

</configuration>

（2）在hdfs-site.xml末尾加入如下代码，代码中路径按照自己本地路径相应修改：

<configuration>

<!-- 这个参数设置为1，因为是单机版hadoop -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/E:/soft/hadoop-3.1.0/data/namenode</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

<value>/E:/soft/hadoop-3.1.0/data/snn</value>

</property>

<property>

<name>fs.checkpoint.edits.dir</name>

<value>/E:/soft/hadoop-3.1.0/data/snn</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/E:/soft/hadoop-3.1.0/data/datanode</value>

</property>

</configuration>

（3）在yarn-site.xml末尾添加如下代码：

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

（4）在mapred-site.xml末尾添加如下代码：

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

（5）在hadoop-env.cmd配置以下2个地方：

5. 启动Hadoop

进入hadoop目录：E:\soft\hadoop-3.1.0\bin，打开cmd，执行命令：

.\hdfs namenode -format

进入目录：E:\soft\hadoop-3.1.0\sbin，找到start-all.cmd，右键以管理员身份运行。
运行完毕可以看到以下四个服务：

四 、配置Spark3.0.3

1. Spark下载

Spark3.0.3官网下载：

https://spark.apache.org/releases/spark-release-3-0-0.html

2. Spark环境配置

配置步骤同scala配置。

注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。

3. 配置验证

cmd命令：

spark-shell

Spark配置成功。