Windows10系统spark3.0.3配置

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

pyspark Windows10系统基本环境：spark3.0.3+hadoop3.1.1+scala2.12.0+java jdk1.8。

---

一、配置java jdk1.8

1. jdk环境变量配置

环境变量配置路径：此电脑$\to$属性$\to$高级系统设置$\to$环境变量
path中加入：%JAVA_HOME8%/bin。
注：jdk版本不宜过高。

2. 配置验证

cmd验证：

java -version

结果如下：

二、配置scala2.12.0

1.下载scala安装包

官方下载网址：https://www.scala-lang.org/

选择对应版本，这里我选择的是scala2.12.0版本。

下载Windows系统对应的压缩包。

2. 配置scala环境

环境变量配置路径：此电脑$\to$属性$\to$高级系统设置$\to$环境变量

path中加入：%SCALA_HOME%/bin。

3. 验证配置

cmd验证配置：

scala -version

结果如下：

三、配置Hadoop3.1.1

1.Hadoop下载

从Apache官网下载Hadoop：https://hadoop.apache.org/
官网下载速度较慢，也可使用国内镜像下载。

2. Hadoop环境变量配置

配置步骤同Scala配置。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。

3. Windows系统bin下载：

windows系统需要替换hadoop安装包里的bin文件夹。

不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。
下载成功直接覆盖本地bin。

4. 配置Hadoop启动文档和脚本

配置\etc\hadoop\下的如下5个文件。
（1）在core-site.xml末尾加入如下代码，代码中路径按照自己本地路径相应修改：

<configuration>
	<property> 
		<name>fs.default.name</name> 
		<value>hdfs://localhost:8900</value> 
	</property> 
	
	<property> 
		<name>hadoop.tmp.dir</name> 
		<value>D:/hadoop-3.1.1/tmp/${user.name}</value> 
		<description>A base for other temporary directories.</description> 
	</property>
</configuration>

（2）在hdfs-site.xml末尾加入如下代码，代码中路径按照自己本地路径相应修改：

<configuration>

<!-- 这个参数设置为1，因为是单机版hadoop --> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

<property> 
<name>dfs.permissions</name> 
<value>false</value> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>/D:/hadoop-3.1.1/data/namenode</value> 
</property> 

<property> 
<name>fs.checkpoint.dir</name> 
<value>/D:/hadoop-3.1.1/data/snn</value> 
</property> 

<property> 
<name>fs.checkpoint.edits.dir</name> 
<value>/D:/hadoop-3.1.1/data/snn</value> 
</property> 

<property> 
<name>dfs.datanode.data.dir</name> 
<value>/D:/hadoop-3.1.1/data/datanode</value> 
</property>

</configuration>

（3）在yarn-site.xml末尾添加如下代码：

<configuration>

<!-- Site specific YARN configuration properties -->
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 

<property> 
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> 
<value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property>

</configuration>

（4）在mapred-site.xml末尾添加如下代码：

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

（5）在hadoop-env.cmd配置以下2个地方：

5. 启动Hadoop

进入目录：D:/hadoop-3.1.1/bin，打开cmd，执行命令：

.\hdfs namenode -format

进入目录：D:/hadoop-3.1.1/sbin，找到start-all.cmd，右键以管理员身份运行。
运行完毕可以看到以下四个服务：

四 、配置Spark3.0.3

1. Spark下载

Spark3.0.3官网下载：https://spark.apache.org/releases/spark-release-3-0-0.html

2. Spark环境配置

配置步骤同scala配置。
注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。

3. 配置验证

cmd命令：

spark-shell

结果如下：

Spark配置成功。

4. Pyspark

在Anaconda环境中安装pyspark安装包。
注意：pyspark版本应与spark版本一致。不注明版本将默认pip最新版本，出现版本不兼容的问题。
在Anaconda Prompt里输入命令：

pip install pyspark==3.0.3

验证pyspark是否pip成功，在python中输入：

import pyspark

以上是本篇博客所有内容，小白学习笔记，大佬轻喷，欢迎评论区交流~
参考博客：

https://zhuanlan.zhihu.com/p/375066643
https://www.csdn.net/tags/OtDakgxsODA4OS1ibG9n.html

---