hadoop（window搭建）

 0.自己编译安装步骤在这里，有英文版本链接：《英文传送门》。

自己编译尝试后不成功，换为下面使用别人编译好的版本的方法。参考博客：《初学hadoop,windows下安装》 

1.下载JDK，并设置JAVA_HOME。

(使用不带空格的路径，比如Program Files，将在后面的配置中报错！)

假设JAVA_HOME路径为C:\Java\jdk1.8.0_73

2.下载hadoop。

下载地址：Apache Hadoop

如果在当前页中没找到2.8.3版本，可以到所有版本的下载列表中去找：Index of /dist/hadoop/common

这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3

  即可

3.下载winutils。

这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行！覆盖！即可。

下载地址：https://github.com/steveloughran/winutils

4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件

①core-site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

②hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

⑤hadoop-env.cmd

设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错！)

遇到的问题：

需要用

PROGRA~1代替Program Files即可

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_261

 

在这里要配置hadoop的环境变量，随后用hadoop version，ok

5.进入D:\hadoop-2.8.3\bin目录，格式化hdfs（cmd管理员身份打开）

在cmd中运行命令

 hdfs namenode -format

 

6.进入D:\hadoop-2.8.3\sbin目录

在cmd中运行命令start-all.cmd

出现找不到hadoop文件的错误时，可以在start-all.cmd文件上方加入hadoop文件所在位置目录

cd D:\hadoop\hadoop-2.8.3\etc\hadoop

7.在浏览器地址栏中输入：http://localhost:8088查看集群状态。

8.在浏览器地址栏中输入：http://localhost:50070查看Hadoop状态。

9.执行stop-all.cmd关闭Hadoop。