配置单节点Hadoop

---

准备工作

Hadoop安装包和对应版本的Hadoop Windows Master
默认各位的电脑上已经有IDEA，即jdk已经配置好。
安装包下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/
Windows Master下载地址：https://pan.baidu.com/s/1o7YTlJO

下载并解压

用master的文件替换掉下载的hadoop文件夹的bin和etc文件夹。

添加环境变量

设置中的高级系统设置–>环境变量，添加下图的三个环境变量。

修改对应文件

修改D:/hadoop-2.7.2/etc/hadoop/core-site.xml配置

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

修改D:/hadoop-2.7.2/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

在D:/hadoop-2.7.2目录下创建data目录，作为数据存储路径

在D:/hadoop-2.7.2/data目录下创建datanode目录；

在D:/hadoop-2.7.2/data目录下创建namenode目录；

修改D:/hadoop-2.7.2/etc/hadoop/hdfs-site.xml配置

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-2.7.2/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/hadoop-2.7.2/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/hadoop-2.7.2/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-2.7.2/data/datanode</value>
   </property>
</configuration>

修改D:/hadoop-2.7.2/etc/hadoop/yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

修改D:/hadoop-2.7.2/etc/hadoop/hadoop-env.cmd配置

找到"set JAVA_HOME=%JAVA_HOME%"替换为你的JAVA—HOME的地址。

初始化节点，运行

管理员身份打开命令行，输入hdfs namenode -format,
输入start-all，出现namenode，datanode，sourcemanager，nodemanager四个窗口则成功。

查看节点信息

localhost：50070和localhost：8088.