在windows上安装配置伪分布式HADOOP3.0

在windows 64位上安装hadoop3.0.2

1.下载JDK，并设置JAVA_HOME。(使用不带空格的路径，比如Program Files，将在后面的配置中报错！若实在是有空格也是有解决办法，步骤7中会提到)
假设JAVA_HOME路径为C:\Java\jdk1.8.0_131
然后在Path中添加路径：
%JAVA_HOME%;%JAVA_HOME%\bin

2.下载hadoop
官网下载地址：http://hadoop.apache.org/releases.html
这里下载使用的是3.0.2的二进制版本文件（binary)，解压到E:/hadoop-3.0.2
镜像地址：http://mirror.bit.edu.cn/apache/hadoop/common/
3.下载winutils
这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载找到hadoop-3.0.0/bin，然后覆盖E:/hadoop-3.0.2/bin
下载地址：https://github.com/steveloughran/winutils

4：添加环境变量 HADOOP_HOME：
E:\hadoop- 3.0.2，并添加到Path路径：%HADOOP_HOME%\bin
5：创建data目录及两个子文件夹namenode及datanode
用来保存数据，例如E:\hadoop- 3.0.2\data\namenode, E:\hadoop- 3.0.2\data\datanode
6.在路径E:\hadoop-3.0.2\etc\hadoop下修改文件
①core-site.xml（配置默认hdfs的访问端口

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

②hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

7、上述步骤配置好后就可以试着运行hadoop了
E:\hadoop-2.8.3\bin目录，格式化hdfs
在cmd中运行命令 hdfs namenode -format

若系统报错：

系统找不到指定的路径。 Error: JAVA_HOME is incorrectly set. 
 Please update E:\hadoop-3.0.2\hadoop-3.0.2\etc\hadoop-env.cmd’-Xmx512m’ 
 不是内部或外部命令，也不是可运行的程序或批处理文件。

这就是说明java_home没有配置正确，此时需要配置
E:\hadoop-3.0.2\etc\hadoop\hadoop-env.cmd，用编辑器打开文件
我的jdk路径是：C:\Program Files\Java\jdk1.8.0_131，Program Files是包含空格的
只需要把Program Files改为PROGRA~1 保存即可，如下图所示

8.启动hadoop3
进入E:\hadoop-3.0.2\sbin目录
在cmd中运行命令start-all.cmd
查看集群状态。http://localhost:8088
查看hdfs 文件系统：http://localhost:9870
9.关闭hadoop3
进入E:\hadoop-3.0.2\sbin目录
在cmd中运行命令stop-all.cmd

至此配置完成，当当当当，撒花花（✿✿ヽ(°▽°)ノ✿）