一、安装Java
- 版本1.8,安装过程省略…
二、安装Hadoop
1.下载
- 下载安装包 Hadoop2.9.0
- 解压 推荐放到D盘,C盘会有权限问题。路径示例:C:\Software\hadoop-2.9.0
2.配置环境变量
三.修改hadoop配置
1.新建data目录及子目录
注意:记得赋予目录读写权限
2.修改配置文件
- 修改 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 修改 hdfs-site.xml
<configuration>
<!--副本数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--NameNode目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///Software/hadoop-2.9.0/data/namenode</value>
</property>
<!--DataNode目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///Software/hadoop-2.9.0/data/datanode</value>
</property>
</configuration>
- 修改 mapred-site.xml
<configuration>
<!--yarn模式-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 修改 yarn-site.xml
<configuration>
<!--RM的hostname-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>0.0.0.0</value>
</property>
<!--中间结果存放位置-->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>file:///C:/Software/hadoop-2.9.0/tmp</value>
</property>
<!--NM上运行的附属服务-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- 修改 hadoop-env.cmd
# 因Java安装在Project Files路径下,有空格,用PROGRA~1代替
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_202
四、配置库文件
1.VC库
- 安装 Visual C++ 2010 Redistributable Package (x64)
- 安装 winutils.exe,直接copy整个bin目录覆盖安装的hadoop的bin目录即可
- 拷贝hadoop.dll到C:\Windows\System32下
四、启动Hadoop
注意:以管理员身份打开cmd控制窗口
1.格式化namenode
hdfs namenode -format
2.启动hadoop服务
- 以管理员身份运行,会打开4个service窗口。其中包括hdfs数据节点及yarn资源管理服务进程
start-all.cmd
- 浏览器打开 http://localhost:8088/cluster,可查看job运行情况