Hadoop windows本地环境安装

有时候需要调试hadoop的程序，如果都要传到linux上，非常不方便。我们可以搭建一个windows的单机版本hadoop环境，测试我们的代码。

一、下载所需文件

1. JDK下载地址，jdk1.8下载
2. Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。
3. Hadoop windows环境编译工具，winutils下载 ，下载后解压出来

二、安装文件

1.  jdk安装，省略
2. hadoop安装，由于下载的hadoop文件是不用安装的，我们只需要解压出来就可以了 解压目录 D:\dev-tools\hadoop\hadoop-2.8.3

三、环境变量配置

1.  jdk，省略
2. 在环境变量中建立HADOOP_HOME，并在path中配置 %HADOOP_HOME%\bin

四、配置hadoop文件

1. 配置 core-site.xml文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/data/hadoop</value>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 配置mapred-site.xml 

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

</configuration>

配置  hdfs-site.xml

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置 yarn-site.xml 

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

找到 hadoop-env.cmd 文件并打开，添加下面

set JAVA_HOME=%JAVA_HOME%

五、替换文件

解压我们之前下载的 winutils-master 文件，找到符合自己的版本，替换 D:\dev-tools\hadoop\hadoop-2.8.3\bin 的文件

六、运行

1.运行cmd窗口，执行hdfs namenode -format ，格式化hdfs文件系统。

 2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd 启动hadoop，包括yarn/hdfs

 

七、测试

打开下面的网页可以查看hdfs状态

http://localhost:50070

打开下面的网页可以查看yarn状态

http://localhost:8088/cluster

配置好的hadoop 2.8.3，已经上传到网盘，可以自行下载后配置环境变量即可使用

链接：https://pan.baidu.com/s/1kfbWDu7MuGuOPAQ1jn0fKw 
提取码：0g4u 
 

 

 

 

转载于:https://my.oschina.net/thinwonton/blog/3073822