Windows 安装hadoop 3.1.3

一、安装环境

Win10 64位
hadoop 3.1.3
jdk1.8

相关软件包下载：

https://pan.xunlei.com/s/VNuqNdT7YR7EDhROLsrHgjWoA1?pwd=mxry# 提取码：mxry

二、安装 JDK1.8

1. 解压 jdk1.8.0_131.zip 到非中文目录

2. 配置jdk环境变量

（1）创建系统变量 JAVA_HOME ,变量值为jdk1.8.0_131.zip解压目录

(2) 创建系统变量 CLASSPATH，变量值为：

.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

(3) 在path变量中添加 JDK 的 bin 路径，变量值为：

%JAVA_HOME%\jre\bin;%JAVA_HOME%\bin;

(4) 进入cmd，输入命令 java -version 查看 jdk 是否安装成功

三、安装 hadoop

1. 解压hadoop

把下载的hadoop-3.1.3.tar.gz压缩包解压到自己要安装的位置

2.配置环境变量

（1）创建系统变量 HADOOP_HOME，变量值为解压的目录

（2）在path变量中添加 hadoop的 bin 和 sbin 路径

%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

3.验证是否安装成功

进入cmd，输入命令hadoop version查看hadoop是否安装成功

四、配置 hadoop

1. 进入hadoop-3.1.3目录,创建 data 文件夹

2.进入data目录,创建datanode和namenode文件夹

3.进入hadoop-3.1.3\etc\hadoop目录，用记事本或者其他编辑器打开如下文件并配置

（1）配置文件core-site.xml,添加

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（2）编辑文件hdfs-site.xml,添加

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop313/hadoop-3.1.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop313/hadoop-3.1.3/data/datanode</value>
    </property>
</configuration>

这里要把两个“<value>”改成自己hadoop安装的地址。

（3）编辑文件mapred-site.xml,添加

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）编辑文件yarn-site.xml，添加

<configuration>
 
<!-- Site specific YARN configuration properties -->
 
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
 
</configuration>

4. 进入hadoop-3.1.3\sbin目录，修改 start-yarn.cmd的yarn路径

此处是为了解决电脑中安装过node.js的重名命令yarn，所以在运行hadoop的yarn的时候需要制定其yarn路径，打开start-yarn.cmd文件，修改其yarn路径，代码如下：

@rem start resourceManager
start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn resourcemanager
@rem start nodeManager
start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn nodemanager
@rem start proxyserver
@rem start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn

5. 解压之前下载的apache-hadoop-3.1.3-winutils-master.zip

复制bin里面的文件

覆盖到 hadoop-3.1.3\bin 中

6. 进入hadoop-3.1.3\share\hadoop\yarn\timelineservice，复制一份 hadoop-yarn-server-timelineservice-3.1.3.jar 到 hadoop-3.1.3\share\hadoop\yarn

复制一份 hadoop-yarn-server-timelineservice-3.1.3.jar

7. 在 cmd 命令控制台输入hdfs namenode -format 格式化节点

8.在cmd中执行命令 start-all.cmd 启动hadoop

在 cmd 执行 jps 查看启动成功

（1）浏览器访问 http://localhost:9870

（2）浏览器访问http://localhost:8088

至此，安装结束！