Hadoop2.7 windows开发环境快速安装 用于IDEA使用

1.下载Hadoop

• 下载hadoop源码包  

  下载地址： http://www.apache.org/dyn/closer.cgi/hadoop/common

  选择地址：

  选择 2.7.X的版本

  也可以在以下地址： http://archive.apache.org/dist/hadoop/core/

这里选择的版本比较多

• 下载 hadooponwindows-master.zip

  由于原版的hadoop不支持Windows系统，需要修改配置

  下载地址： https://github.com/sardetushar/hadooponwindows

2.解压

  将hadoop-2.7.3.tar.gz解压到E盘（根据个人安装决定，这边选择E盘）上

  将hadooponwindows-master.zip解压，复制解压后的bin文件和etc文件到hadoop-2.7.3文件中，并替换原有的bin和etc文件

3.配置环境变量

• 配置Java环境变量(需要提前下载java)

  新建环境变量名： JAVA_HOME

  输入路径：D:\Softwares\jdk1.8 （这里是以我的jdk地址为例，请根据自己的jdk地址来设置）

        在path中最前面加上：%JAVA_HOME%\bin;

• 配置Hadoop环境变量

  新建变量名： HADOOP_HOME

  输入路径：E:\hadoop-2.7.3

  在path中最前面加上：%HADOOP_HOME%\bin;

4.修改hadoop配置的jdk路径

  在hadoop-2.7.3\etc\hadoop找到 hadoop-env.cmd 进行编辑

  找到： set JAVA_HOME=C:\PROGRA~1\Java\jdk1.7.0_67

  将里面的C:\PROGRA~1\Java\jdk1.7.0_67修改为环境变量设置中JAVA_HOME的值

  注：(如果路径中有“Program Files”，则将Program Files改为 PROGRA~1）

5.检验是否安装

 快捷键win+R 输入cmd打开命令提示符，然后输入

hadoop version

如果出现如图5-1所示结果，则说明安装成功

图5-1

6.Hadoop核心配置文件修改

  在hadoop-2.7.3\etc\hadoop中找到以下几个文件

• 打开hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存

<configuration>
    <property>       
        <name>fs.defaultFS</name>       
        <value>hdfs://localhost:9000</value>   
    </property>
</configuration>

• 打开hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存

<configuration>   
    <property>       
        <name>mapreduce.framework.name</name>       
        <value>yarn</value>   
    </property>
</configuration>

• 打开hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存, 请注意需要建立data文件夹和两个子文件夹，本例子是建立在HADOOP_HOME的目录里(注意每个人的hadoop的路径不一样，这里要做修改)

<configuration>
<property>       
<name>dfs.replication</name>       
<value>1</value>   
</property>   
<property>       
<name>dfs.namenode.name.dir</name>       
<value>/E:/hadoop-2.7.3/namenode</value>   
</property>   
<property>       
<name>dfs.datanode.data.dir</name>     
<value>/E:/hadoop-2.7.3/datanode</value>   
</property>
</configuration>

• 打开hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存

<configuration>   
<property>       
<name>yarn.nodemanager.aux-services</name>       
<value>mapreduce_shuffle</value>   
</property>   
<property>       
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
<value>org.apache.hadoop.mapred.ShuffleHandler</value>   
</property>
</configuration>

7.启动Hadoop服务

  创建三个文件夹

  E：/hadoop-2.7.3/tmp

  E：/hadoop-2.7.3/namenode

  E：/hadoop-2.7.3/datanode

  格式化 HDFS,以管理员身份打开命令提示符

hdfs namenode -format

执行到如下图7-1所示

图7-1

 格式化之后，namenode文件里会自动生成一个current文件，则格式化成功。

 然后转到Hadoop-2.7.3\sbin文件下，如下图7-2所示

图7-2

start-all.cmd

启动hadoop服务。如下图7-3所示

图7-3

jps 

可以查看运行的所有服务 (前提是java路径设置正确)，如下图7-4所示

图7-4

注：在windows下安装hadoop 可以解决IDEA连接远程虚拟机hadoop的报错

需要在程序的开头添加下面一段话即可：

System.setProperty("hadoop.home.dir", "D:\\Programe\\hadoop-common-2.2.0-bin-master");

报错信息具体如下：

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.