window10安装hadoop

为了方便hadoop本地测试开发，需要安装在本机。

1. 解压从官网下载的binary文件

下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz

然后将该tar.gz解压之本地目录，我的目录是：D:\IDEAProject\hadoop-2.8.2

2. 设置HADOOP_HOME环境变量

设置本机PC的环境变量：
HADOOP_HOME设置：D:\IDEAProject\hadoop-2.8.2
Path设置：%HADOOP_HOME%\bin

3. 修改hadcoop-env.cmd文件

hadcoop-env.cmd所在目录：D:\IDEAProject\hadoop-2.8.2\etc\hadoop

set JAVA_HOME=C:\Java\jdk1.8.0_102

这步有个坑，原本我的jdk目录是在D:\Program Files\Java\jdk1.8.0_102，当我这样设置 ：

JAVA_HOME=D:\Program Files\Java\jdk1.8.0_102
或者
JAVA_HOME=D:\Progra~1\Java\jdk1.8.0_102

在CMD中进行hadoop version时总会报：Error: JAVA_HOME is incorrectly set.
解决方法是：
将原D盘中的D:\Program Files\Java\jdk1.8.0_102目录复制到我的C盘的Java目录下，然后将hadcoop-env.cmd的JAVA_HOME设置为C:\Java\jdk1.8.0_102，运行hadoop version没有报错， 解决问题

4.增加依赖库文件

下载地址：http://download.csdn.net/download/a327919006/9882492
将文件hadoop.dll ; winutils.exe添加到目录D:\IDEAProject\hadoop-2.8.2\bin下
同时在 C:\Windows\System32目录下放入文件： hadoop.dll。

5.修改配置文件 core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml

这几个配置文件所在目录：hadoop-2.8.2\etc\hadoop
这几个文件分别增加以下配置。

5.1 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5.2 hdfs-site.xml

修改这个文件之前需要创建目录：
D:\IDEAProject\hadoop-2.8.2\data\dfs\datanode
D:\IDEAProject\hadoop-2.8.2\data\dfs\namenode

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/IDEAProject/hadoop-2.8.2/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/IDEAProject/hadoop-2.8.2/data/dfs/datanode</value>
    </property>
</configuration>

5.3 mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

5.4 yarn-site.xml

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

<configuration>

6. 运行

6.1格式化HDFS

CMD中：
hadoop/bin下执行 hdfs namenode -format

格式化成功标志有：“successfully formatted.”，“Exiting with status 0”。如果失败的话：Exiting with status 1

然后切换到hadoop-2.8.2\sbin目录下进行hadoop的启动与关闭：

start-dfs.cmd   #先启动dfs  
start-yarn.cmd  #再启动yarn  
start-all.cmd  #等于上面两条命令的组合  

stop-yarn.cmd 
stop-dfs.cmd  

成功运行后可以用两个URL去看Hadoop运行状态:
http://localhost:8088/，可以查看mapreduce任务
http://localhost:50070/ , 在utilities》Browse the file system可以查看hdfs文件

---