记录本机（windows11）搭建spark过程

版本说明：JDK8，scala-2.1.3，spark-3.4.1，hadoop-3.2.4，winutils.exe和hadoop.dll为3.3.5

1、安装JDK8

由于不需要写Java，本来想省事只装jre。结果走了些弯路，最后还是装的jdk，jdk包含了jre。 jdk8安装包装完jdk后，会自动安装jre，注意jdk目录和jre目录是平级关系，以免发生覆盖，如C:/java/jdk8，C:/java/jre8。

配置环境变量

（1）在系统环境变量中，新增JAVA_HOME=C:/java/jdk8。
（2）在Path中新增%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin。
（3）命令行检查：java；javac；java -verison。三者都没报错就ok了。
距离我上一次配置java已经快两年前了，不知道为啥现在不需要配classpath了。

2、安装scala

一直next，装完就成，不需要配置环境变量。

3、安装hadoop

网上说windows本地可以用winutils.exe，就不需要安装hadoop。我试了下不行，还是老老实实下了一个hadoop，解压后，配置环境变量，在系统环境变量中新增：HADOOP_HOME=C:\hadoop-3.2.4。Path新增%HADOOP_HOME%bin，由于hadoop是Linux版本，此时还需要winutils.exe和hadoop.dll放入bin目录下。最后可用hadoop version查看是否安装成功。

4、安装spark

解压，配置环境变量，在系统环境变量中新增SPARK_HOME=C:\spark-3.4.1。在Path中新增%SPARK_HOME%\bin。

最后双击spark的bin目录下：spark-shell.cmd，查看是否安装成功。