windows下安装hadoop教程

Win10_x64位配置hadoop-2.7.5开发环境

 

在安装配置hadoop-2.7.5的环境时必须要配置好Java开发环境

才能安装hadoop。

第一部分：下载安装Java，配置其开发环境

1、下载Java

下载网站：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

 

2、下载安装在D盘

 

双击安装在D盘：D:\Java\jdk1.8.0_161，这是其对应的安装路径

配置路径：

在windows开始搜索栏输入：控制面板。如下图

 

3、Java环境变量以及路径变量设置

点击控制面板——》系统和安全——》系统——》高级系统设置——》环境变量，如下图所示：

A编辑系统变量：

 

B、继续编辑系统变量：

变量名：CLASSPATH

变量值：.;%JAVA_HOME%lib;%JAVA_HOME%lib/tools.jar;

 

C、添加路径：点击Path,新建两个环境变量：

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin

按照如下图所示

 

 

如果要检验Java是否安装完毕，可以在DOS系统在对应路径下输入Java  -version查看其安装版本。这里不做演示了。

 

 

 

 

 

第二部分hadoop的安装与环境配置

1、下载hadoop

下载网站：这是清华的镜像网站

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

我选的是稳定版本hadoop-2.7.5版

 

在D盘创建一个hadoop文件夹将其保存在hadoop文件夹下：解压hadoop-2.7.5.tar.gz文件

2、替换bin和etc文件

然后去GIthub或者CSDN下载hadooponwindows-master.zip文件解压在同样的目录D:\hadoop下，解压hadooponwindows-master.zip

用后者的bin和etc文件去替换掉前者的bin和etc文件：注意先删除hadoop-2.7.5下的bin和etc文件再去粘贴hadooponwindows-master的bin和etc文件（也可以自己去编辑）。

目的是减少自己取编辑以下四个文件的补充命令：

l D:\hadoop\hadoop-2.7.5\etc\hadoop\core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property></configuration>

l D:\hadoop\hadoop-2.7.5\etc\hadoop\mapred-site.xml

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

    </property></configuration>

l D:\hadoop\hadoop-2.7.5\etc\hadoop\hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

       <name>dfs.namenode.name.dir</name>

       <value>/hadoop/data/namenode</value>

    </property>

    <property>

       <name>dfs.datanode.data.dir</name>

       <value>/hadoop/data/datanode</value>

    </property></configuration>

l D:\hadoop\hadoop-2.7.5\etc\hadoop\yarn-site.xml

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property></configuration

 

3.修改JDK的安装路径

D:\hadoop\hadoop-2.7.5\etc\hadoop\hadoop-env.cmd （修改JDK的安装路径）

用一个与语言编辑器打开：在“JAVA_HOME=”改成“JAVA_HOME=D:\Java\jdk1.8.0_161”保存如下图所示。

 

 

4 、继续配置hadoop的环境变量

 

 

其中图中的第3步在新建条件

编辑环境变量

变量名：HADOOP_HOME

变量值：D:\hadoop\hadoop-2.7.5

然后图中的第4步条件下

编辑系统变量添加路径

点击Path下添加变量：%HADOOP_HOME%\bin

全部确定。

5、格式化HDFS文件系统，hdfs namenode -format

如下图所示

 

然后有一个提示命令Y/N中选择输入Y。如果这一步没有什么异常基本没有问题了。

6、最后，在dos系统下在命令行（管理员）将目录指向D:\hadoop\hadoop-2.7.3\sbin，键入“start-all”

将会弹出以下窗口：

 

Namenode、Datanode、YARN resourcemanager、YARN nodemanager四个进程启动成功，再看一下网站截图：

7、登陆localhost:8088

8、 退出则在DOS系统 将目录指向D:\hadoop\hadoop-2.7.3\sbin ， 然后输入“stop all”即可。

谢谢大家，分享完毕。