Windows环境部署hadoop-2.7.6

1、下载Hadoop：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/ 或：http://archive.apache.org/dist/hadoop/core/

下载winutils：https://github.com/steveloughran/winutils

2、将下载文件解压到本地磁盘：并将文件进行替换

文件放到：D:\BigDataApp\hadoop-2.7.1

对于winutils，找到对应版本，直接解压后把文件丢到D:\BigDataApp\hadoop-2.7.1\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份；

3、配置环境变量：

添加HADOOP_HOME:D:\BigDataApp\hadoop-2.7.1

PATH中添加%HADOOP_HOME%\bin；

4、配置文件内容：etc\hadoop\core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>   
</configuration>

5、配置文件：mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

6、配置文件：hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

7、配置文件：yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

8、配置文件：hadoop-env.cmd

将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\Java\jdk1.8.0_131

9、运行格式化：运行cmd窗口，进入D:\BigDataApp\hadoop-2.7.1\bin下，执行“hdfs namenode -format”； 

10、启动hadoop:运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”

或直接执行：D:\BigDataApp\hadoop-2.7.1\sbin\start-all.cmd

11、启动网址进行检测：

网页验证：http://localhost:50070/dfshealth.html#tab-overview

进程验证：D:\BigDataApp\hadoop-2.7.1\sbin  cmd 执行jps 

创建文件，执行文件上传

hadoop fs -mkdir hdfs://localhost:9000/user/
hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
hadoop fs -put D:\\1.txt hdfs://localhost:9000/user/wcinput
hadoop fs -ls hdfs://localhost:9000/user/wcinput