因为我的电脑是windows 10系统,所以我按照网上的教程,已经查阅网上的资料解决了其中的问题。
前言:
需要添加环境变量的配置,这个太简单,网上都烂大街了,所以我就不多赘述了。
一、配置文件
core-site.xml配置:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml配置:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/I:/hadoop/hadoop-2.9.1/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/I:/hadoop/hadoop-2.9.1/data/datanode</value>
</property>
<property>
<name>dfs.datanode.failed.volumes.tolerated</name>
<value>0</value>
</property>
mapred-site.xml配置:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml配置:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
二、添加文件
需要在bin目录下添加两个文件winutils.exe和hadoop.dll两个文件,这两个文件可以去网上找,我这里有一些,但这里不支持上传文件,所以这边就不上传了
三、启动项目
在hadoop的bin目录下执行:hadoop namenode -format
然后在hadoop下的sbin目录下,用start-all.cmd和stop-all.cmd
四、验证是否启动成功
使用jps命令,查看hadoop启动项
我是参考了网上多个资料,解决了其中的错误,我参考最多的是这篇博客
https://www.cnblogs.com/benfly/p/8301588.html