Windows安装配置 Hadoop,Scala,Spark,安装配置
安装顺序,hadoop,scala,spark
前提条件,已安装好jdk
1、hadoop安装配置
我安装的版本是3.2.2
hadoop镜像站
解压缩文件不路径不能有中文和空格,防止出现问题。
解压途中出现
请使用管理员权限解压
准备工作做好,开始配置
添加系统变量,并在PATH添加路径:
配置好后输入hadoop version
能得到hadoop版本输出,说明配置成功
修改配置文件
解压好的路径G:\windowsHadoop\hadoop-3.2.2\etc\hadoop
用记事本或者其他工具打开hadoop-env.cmd文件,找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录,如果目录带有空格,可以通过下面两种方式处理:这里以安装目录为C:\Program Files\Java\jdk1.8.0_241为例,因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:
只需要用PROGRA~1 代替Program Files,即改为C:\PROGRA~1\Java\jdk1.8.0_241
或是使用双引号改为 “C:\Program Files”\Java\1.8.0_241
在core-site.xml 文件中添加:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
在mapred-site.xml文件中添加:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
在yarn-site.xml文件中添加:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>
</configuration>
在解压的根目录下创建workspace文件夹,并在workspace下创建namenode和datanod两个子文件夹;
在hdfs-site.xml文件添加:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/C:/ProgramFiles/ApacheSoftwareFoundation/hadoop-3.1.2/workspace/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/C:/ProgramFiles/ApacheSoftwareFoundation/hadoop-3.1.2/workspace/datanode</value>
</property>
</configuration>
下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行。我用的是3.1.0版本winutils。
https://github.com/zyj108/apache-hadoop-3.1.0-winutils
直接将bin目录替换掉hadoop根目录下bin文件即可
在G:\windowsHadoop\hadoop-3.2.2\sbin目录下,使用管理员权限
输入start-all,出现以下四个窗口即是成功
如果出现这种错误: Incompatible clusterIDs in G:\windowsHadoop\hadoop-3.2.2\workspace\datanode:。All specified directories have failed to load.,
执行hdfs datanode-format
重新start-all
启动成功后,可以访问GUI页面
http://localhost:8088/
http://localhost:9870/
参考链接:
https://blog.csdn.net/yamaxifeng_132/article/details/102609782
https://blog.csdn.net/muriyue6/article/details/106573744