2.Hadoop的Windows安装

提示：由于hadoop 默认不支持Windows，所以需要下载第三方工具，用来进行配置，

名字叫 Hadooponwindows-master.zip,

下载地址为：https://pan.baidu.com/s/1WU8oXwQVwuCDyC7HPe_zcQ

1.第一步：下载hadoop的编译后的版本，hadoop-2.9.2.tar.gz，我这儿网慢，写该笔记的时候还没下载完（?）

2.第二步：解压hadoop的时候注意可能需要以管理员权限解压，否则会出现需要特权问题。

3.第三步：配置环境变量，在环境变量（位置不细说）下新建一个HADOOP_HOME，里面存放hadoop的解压路径，并把hadoop的bin路径加入环境变量

4.配置相关配置文件

core-site.xml：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name> <!--临时目录的父目录-->
        <value>/D:/Win10/hadoop-2.9.2/temp</value>
    </property>
    <property>
        <name>dfs.name.dir</name><!--NameNode的备份-->
        <value>/D:/Win10/hadoop-2.9.2/NameNodeBack</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:8020</value><!--namenode的交互端口-->
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name><!--数据节点的块本地存放目录-->
        <value>/D:/Win10/hadoop-2.9.2/data</value>
    </property>
</configuration>

yarn-site.xml：

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name><!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

hadoop-env.cmd：

<!--用@rem注释掉原有的JAVA_Home-->
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Win10\JDK1.8

5.将第三方的Hadooponwindows-master.zip 解压后的bin（只有bin目录）目录的中的东西替换掉hadoop的bin目录，所有文件

6.在cmd执行 hdfs namenode -format

7.在hadoop的sbin目录下执行start-all.cmd

8.这样就完成了一个在windows下的hadoop的搭建

9.在cmd命令操作hadoop fs -mkdir hdfs://localhost:8020/data

10.上传文件 hadoop fs -put 路径 hdfs://localhost:8020/data

11.查看上传的文件 hadoop fs -ls hdfs://localhost:8020/data

12.注意用-ls 查看文件夹或者目录时一定要在后面加上  /

13.配置hadoop的web界面，需要在 hdfs-site.xml，添加以下属性：

	<property>
      	<name>dfs.namenode.http-address</name>
        <value>http://localhost:50070</value>
    </property>

14.配置yarn的web管理界面

<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>host1:8088</value>
</property>

15.reducemanager 无法启动的问题，将share目录下的\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-2.9.2.jar复制到shar目录下