windows搭建hadoop

1、Hadoop官方下载地址：下载
2、将压缩包解压到目录，自己选择目录
3、配置环境变量
1）添加变量名：HADDOP_HOME
变量值：D:\hadoop-3.0.0 ps:根据自己目录进行设置
2) 在path 添加 ：d:\hadoop-3.0.0\bin ps:根据自己目录进行设置
4、hadoop需要依赖jdk，将jdk目录复制一份 放在hadoop3.0.0目录下

5、hadoop配置
1）修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2）修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
<value>yarn</value>
   	</property>
</configuration

3. 在D:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：
   <1> 在D:/hadoop-3.0.0/data目录下创建datanode目录；
   <2> 在D:/hadoop-3.0.0/data目录下创建namenode目录；

4. 修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

    <configuration>
           <!-- 这个参数设置为1，因为是单机版hadoop -->
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
           <property> 
               <name>dfs.permissions</name> 
               <value>false</value> 
           </property>
           <property>
               <name>dfs.namenode.name.dir</name>
               <value>/D:/hadoop-3.0.0/data/namenode</value>
           </property>
           <property>
               <name>fs.checkpoint.dir</name>
               <value>/D:/hadoop-3.0.0/data/snn</value>
           </property>
           <property>
               <name>fs.checkpoint.edits.dir</name>
               <value>/D:/hadoop-3.0.0/data/snn</value>
           </property>
           <property>
               <name>dfs.datanode.data.dir</name>
               <value>/D:/hadoop-3.0.0/data/datanode</value>
           </property>
       </configuration>
   

5. 修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

    <configuration>
    			 <!-- Site specific YARN configuration properties -->
    		<property>
    			    <name>yarn.nodemanager.aux-services</name>
    			    <value>mapreduce_shuffle</value>
           </property>
           <property>
                 <name> yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
       	      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       	   </property>
       </configuration> 
   

6）修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，找到
“setJAVA_HOME=%JAVA_HOME%” 替换为
“set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151”
7) bin目录替换，至https://github.com/steveloughran/winutils下载解压,
找到对应的版本替换bin目录
8）启动服务
<1> 在hadoop的bin目录下执行 hdfs namenode -format 命令
<2> 在hadopp的sbin目录下执行start_all.cmd 命令
<3> 可以看到同时启动了4个服务
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager