Win10安装配置Hadoop2.10环境

首先到官方下载官网的hadoop-2.10.1（前提已经安装配置JAVA）

资源：

链接：https://pan.baidu.com/s/1wgegznk4I-Z6FH24Mj4CdA 
提取码：5162 
复制这段内容后打开百度网盘手机App，操作更方便哦

把hadoop .tar.gz解压后，添加到HADOOP_HOME环境变量

添加%HADOOP_HOME%\bin 到path

配置hadoop-env.cmd文件 （D:\hadoop-2.10.1\etc\hadoop\下）

建立namenode和datanode物理路径。可根据具体情况变化

D:/hadoop-2.10.1/data/namenode

D:/hadoop-2.10.1/data/datanode

设置/etc/hadoop/hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop-2.10.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop-2.10.1/data/datanode</value>
    </property>
</configuration>

name	value	description
dfs.replication	1	hdfs副本数量
dfs.namenode.name.dir	/D:/hadoop-2.10.1/data/namenode	按照上边建立的路径指定namenode，开头的/不能少
dfs.datanode.data.dir	/D:/hadoop-2.10.1/data/datanode	按照上边建立的路径指定datanode，开头的/不能少

还需要把hadoop.dll（从）拷贝到 C:\Windows\System32
 

cmd中输入hdfs namenode -format,看到seccessfully就说明format成功

 

D:\hadoop-2.10.1\sbin 下执行start-all.cmd

以下4个窗口无报错，就启动成功。

再次确认jps

访问hadoop http://localhost:50070   & yarn http://localhost:8088

关闭服务

 

问题1：关于win10安装hadoop出现HDFS50070可以访问，yarn8088不能访问

win10安装haddop 2.10.1 出现HDFS50070可以访问，yarn8088不能访问，报错yarn java.lang.NoClassDefFoundError 关于timelineservice找不到类的问题。

缺少对应jar包导致，可以找打hadoop-yarn-server-timelineservice-2.10.1 对应版本放入yarn/lib目标即可。

如果非官方下载没有这个jar包，提供一个下载地址

https://download.csdn.net/download/x3553457/16603779

问题2：报错java.io.IOException: Incompatible clusterIDs

datanode和namenode 的clusterID不一致。

修改hadoop-2.10.1\data\datanode\current\VERSION文件 &hadoop-2.10.1\data\namenode\current\VERSION 中clusterID 配置一直即可