注意:
- Hadoop要求Java的安装目录中不能包括空格
- Hadoop文件的目录中也不能包括空格
一、下载压缩文件
访问ASF镜像网站:http://mirrors.ibiblio.org/apache/hadoop/common/下载2.7.7的版本hadoop-2.7.7.tar.gz
注:如果在解压的时候报错说没有管理器身份,那么需要在压缩包目录下打开DOS窗口,输入命令start winrar x -y hadoop-2.7.7.tar.gz
。
配置:
在hadoop根目录下,新建文件夹workplace。在workplace目录下,新建文件夹tmp和data
打开hadoop根目录\ect\hadoop\core-site.xml,修改文件内容
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop-2.7.7/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/hadoop-2.7.7/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
将hadoop根目录\ect\hadoop目录下的mapred-site.xml.template文件重命名为mapred-site.xml,并修改内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
打开hadoop目录\ect\hadoop\hdfs-site.xml文件,修改文件内容
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/hadoop-2.7.7/workplace/data</value>
</property>
</configuration>
打开hadoop目录\ect\hadoop\yarn-site.xml文件,修改文件内容
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
打开hadoop目录\ect\hadoop\hadoop-env.cmd文件,修改文件内容:
将set JAVA_HOME=%JAVA_HOME%中的%JAVA_HOME%改成绝对路径
set JAVA_HOME=C:\java\jdk1.8.0_131
下载hadooponwindows-master.zip,下载地址
用hadooponwindows-master.zip中的bin文件夹替换hadoop根目录\bin文件夹
格式化namenode
在hadoop根目录\bin目录下,打开cmd窗口,运行hdfs namenode -format
这样Hadoop的配置就完成了,下面开始运行。
在hadoop根目录\sbin目录下,打开cmd窗口,双击运行start-all.cmd
运行成功后,就可以访问hadoop自带的web控制台GUI了
1.资源管理GUI:http://localhost:8088/
2.节点管理GUI:http://localhost:50070/
本文参考:https://blog.csdn.net/a2099948768/article/details/79577246