2021-08-16

Windows安装配置 Hadoop，Scala，Spark，安装配置

安装顺序，hadoop，scala，spark
前提条件，已安装好jdk

1、hadoop安装配置
我安装的版本是3.2.2
hadoop镜像站

解压缩文件不路径不能有中文和空格，防止出现问题。
解压途中出现

请使用管理员权限解压

准备工作做好，开始配置

添加系统变量，并在PATH添加路径：

配置好后输入hadoop version
能得到hadoop版本输出，说明配置成功

修改配置文件

解压好的路径G:\windowsHadoop\hadoop-3.2.2\etc\hadoop
用记事本或者其他工具打开hadoop-env.cmd文件，找到**set JAVA_HOME=%JAVA_HOME%**一行，将其值修改为jdk所在目录，如果目录带有空格，可以通过下面两种方式处理：这里以安装目录为C:\Program Files\Java\jdk1.8.0_241为例，因为Program Files中存在空格，若是直接使用会出现错误，可以下面两种方式之一进行处理：

只需要用PROGRA~1 代替Program Files，即改为C:\PROGRA~1\Java\jdk1.8.0_241
或是使用双引号改为 “C:\Program Files”\Java\1.8.0_241

在core-site.xml 文件中添加：

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9001</value>
    </property>
</configuration>

在mapred-site.xml文件中添加：

<configuration>
	<property>
      	  <name>mapreduce.framework.name</name>
     	  <value>yarn</value>
    </property>
</configuration>

在yarn-site.xml文件中添加：

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
 
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hahoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

在解压的根目录下创建workspace文件夹，并在workspace下创建namenode和datanod两个子文件夹；
在hdfs-site.xml文件添加：

<configuration>
	<property>
    	<name>dfs.replication</name>
    	<value>1</value>
  	</property>
 
  	<property>
    	<name>dfs.namenode.name.dir</name>
    	<value>/C:/ProgramFiles/ApacheSoftwareFoundation/hadoop-3.1.2/workspace/namenode</value>
  	</property>
 
  	<property>
    	<name>dfs.datanode.data.dir</name>
    	<value>/C:/ProgramFiles/ApacheSoftwareFoundation/hadoop-3.1.2/workspace/datanode</value>
  	</property>
</configuration>

下载的Hadoop不支持Windows系统，需要替换bin目录下的文件方便在Windows上运行。我用的是3.1.0版本winutils。

https://github.com/zyj108/apache-hadoop-3.1.0-winutils

直接将bin目录替换掉hadoop根目录下bin文件即可

在G:\windowsHadoop\hadoop-3.2.2\sbin目录下，使用管理员权限
输入start-all，出现以下四个窗口即是成功



如果出现这种错误： Incompatible clusterIDs in G:\windowsHadoop\hadoop-3.2.2\workspace\datanode:。All specified directories have failed to load.，

执行hdfs datanode-format
重新start-all
启动成功后，可以访问GUI页面
http://localhost:8088/

http://localhost:9870/

参考链接：
https://blog.csdn.net/yamaxifeng_132/article/details/102609782
https://blog.csdn.net/muriyue6/article/details/106573744