以下步骤是成功部署之后,摘录整理的,若读者根据以下步骤不成功,请重新搜索。
===========================================================================================
安装步骤参考自:https://www.cnblogs.com/wuxun1997/p/6847950.html
1、hadoop下载(找自己的版本)
https://archive.apache.org/dist/hadoop/common/
2、解压,配置环境变量
系统变量:HADOOP_HOME:hadoop解压的位置,例如:D:\hadoop-2.6.1
path后面加 ;%HADOOP_HOME%\bin;
3、下载winutils
1)若解压出来的hadoop\bin下包含有hadoop.dll,则在一下网址下载winutils即可
https://github.com/steveloughran/winutils/blob/master/hadoop-2.6.3/bin/winutils.exe ,将winutiles放入bin下,并将hadoop.dll复制一份放到c:/windows/System32中;
2)若没有的话,则在https://pan.baidu.com/s/1o7YTlJO 下载hadooponwindows-master.zip,将其中的bin目录替换调第二步解压中的bin(此处建议保留一份bin,可以在出错后还原),然后将hadoop.dll复制一份放到c:/windows/System32中;
4、修改配置文件
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml(此处文件位置不可省略file: 若自己的位置有错,则保持下面配置即可,不需要修改)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5、格式化namenode
在hadoop的bin目录下,打开cmd,输入 hadoop namenode -format
17/05/13 07:16:43 INFO common.Storage: Storage directory \hadoop\data\dfs\namenode has been successfully formatted.
最后几行若包含以上内容则格式化成功
6、进入hadoop\sbin目录启动hadoop
start-all.cmd
此时由于是在windows下,所以会弹出四个cmd窗口,不用理会,等待一会,在之前启动的那个cmd中输入 jps ,会看到包含四个进程,则表示启动成功(此处缺少SNN,但不影响测试环境下hadoop的使用)
4944 DataNode
5860 NodeManager
7852 NameNode
7932 ResourceManager
关于hadoop的知识,请自行学习!