windows配置hadoop

本次配置的是hadoop2.8版本

1.配置环境变量HADOOP_HOME、Path（先下载hadoop2.8.5并进行解压）

2.在hadoop路径下创建data/namenode和data/datanode文件夹

3.修改文件core-site.xml、hdfs-site.xml(配置路径一定要以/开头)、httpfs-site.xml 、mapred-site.xml、yarn-site.xml

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/（你自己的hadoop路径）/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/（你自己的hadoop路径）/data/datanode</value>
    </property>
</configuration>

修改httpfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
         <name>mapred.job.tracker</name>
         <value>hdfs://localhost:9001</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

4.在hadoop的bin文件夹中添加winutils.exe、hadoop.dll文件

见该链接选择hadoop2.8.3的即可

 

5.用管理员身份运行start-dfs和start-yarn命令。（之前一定要运行命令：hadoop namenode -format）

打开namenode、datanode、resourcemanager、nodemanager进程（没有错误信息），就是安装成功！