Windows安装Hadoop、Spark

环境：

Windows 10
java 1.8 x64
scala 2.13.12
hadoop 2.7.1
spark 3.0.0
工具包：
链接：https://pan.baidu.com/s/19KmxTM-FiAclpBcOkBFLIA?pwd=h0ke
提取码：h0ke

安装JAVA（64位）

双击jdk-8u381-windows-x64安装

配置环境变量

将Program Files替换成Progra~1

将Program Files (x86)替换成Progra~2，因为Hadoop、Spark不允许路径中有空格。

安装Scala

双击运行scala-2.13.12

安装Hadoop

解压hadoop-2.7.1.tar、hadooponwindows-master两个压缩包

需要使用管理员权限解压。

解压完成后需要将hadooponwindows-master文件夹下的bin、etc复制到hadoop-2.7.1的目录中，

在该目录下创建data、tmp文件夹，在data文件夹中创建namenode和datanode。

修改etc/hadoop配置文件

hadoop-env.cmd

hdfs-site.xml

core-site.xml

打开命令行运行 hdfs namenode -format，不报错就算好了

转到sbin目录下，运行start-all。

安装Spark

解压spark-3.0.0-bin-hadoop2.7