Hadoop在Windows10下的安装及简单操作

• Hadoop环境搭建

准备工作：

首先从网站https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。

正式安装：

安装好JDK之后在http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common网站上下载hadoop并解压，我解压到了D盘的根目录下，在D:\hadoop-2.8.4\etc\hadoop找到下面4个文件并进行以下修改：

打开D:\hadoop-2.8.4\etc\hadoop\core-site.xml将以下部分复制到configuration中：

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://localhost:9000</value>

        </property>


</configuration>

打开D:\hadoop-2.8.4\etc\hadoop\mapred-site.xml将以下部分复制到configuration中：

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>


</configuration>

打开D:\hadoop-2.8.4\etc\hadoop\yarn-site.xml将以下部分复制到configuration中：

<configuration>


<!-- Site specific YARN configuration properties -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>


<property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hahoop.mapred.ShuffleHandler</value>

        </property>

</configuration>

打开D:\hadoop-2.8.4\etc\hadoop\hdfs-site.xml 将以下部分复制到configuration中：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>    

        <name>dfs.namenode.name.dir</name>    

        <value>file:/hadoop/data/dfs/namenode</value>    

    </property>    

    <property>    

        <name>dfs.datanode.data.dir</name>    

        <value>file:/hadoop/data/dfs/datanode</value>  

    </property>

</configuration>

之后修改系统的环境变量，把D:\hadoop-2.8.4\bin;D:\hadoop-2.8.4\sbin加入到环境变量中，并新建变量HADOOP_HOME，其变量值为：D:\hadoop-2.8.4\bin。

将D:\hadoop-2.8.4\etc\hadoop\hadoop-env.cmd用记事本打开修改其中的JAVA_HOME为开始JDK的安装路径，注意要把program Files 修改为Progra~1（路径中不能有空格）。

此时hadoop安装成功！

2.操作实例：

打开cmd进入hadoop安装路径并输入以下命令：

之后有如下输出：

之后进入sbin路径下键入如下命令：

此时会弹出四个新的cmd窗口：

在浏览器中输入：http://localhost:8088/cluster可以看到YARN界面：

在Hadoop中创建文件夹：

查看创建的文件夹：