hadoop在windows10 64位系统下的安装

2019独角兽企业重金招聘Python工程师标准>>>

因为我的电脑是windows 10系统，所以我按照网上的教程，已经查阅网上的资料解决了其中的问题。

 

前言：

需要添加环境变量的配置，这个太简单，网上都烂大街了，所以我就不多赘述了。

 

一、配置文件

core-site.xml配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml配置：

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/I:/hadoop/hadoop-2.9.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/I:/hadoop/hadoop-2.9.1/data/datanode</value>
    </property>
    <property>
        <name>dfs.datanode.failed.volumes.tolerated</name>
        <value>0</value>
    </property>

 

mapred-site.xml配置：

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

 

yarn-site.xml配置：

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>

 

二、添加文件

需要在bin目录下添加两个文件winutils.exe和hadoop.dll两个文件，这两个文件可以去网上找，我这里有一些，但这里不支持上传文件，所以这边就不上传了

 

三、启动项目

在hadoop的bin目录下执行：hadoop namenode -format

然后在hadoop下的sbin目录下，用start-all.cmd和stop-all.cmd

 

四、验证是否启动成功

使用jps命令，查看hadoop启动项

 

我是参考了网上多个资料，解决了其中的错误，我参考最多的是这篇博客

https://www.cnblogs.com/benfly/p/8301588.html

转载于:https://my.oschina.net/u/2430231/blog/1982648