提示:由于hadoop 默认不支持Windows,所以需要下载第三方工具,用来进行配置,
名字叫 Hadooponwindows-master.zip,
下载地址为:https://pan.baidu.com/s/1WU8oXwQVwuCDyC7HPe_zcQ
1.第一步:下载hadoop的编译后的版本,hadoop-2.9.2.tar.gz,我这儿网慢,写该笔记的时候还没下载完(?)
2.第二步:解压hadoop的时候注意可能需要以管理员权限解压,否则会出现需要特权问题。
3.第三步:配置环境变量,在环境变量(位置不细说)下新建一个HADOOP_HOME,里面存放hadoop的解压路径,并把hadoop的bin路径加入环境变量
4.配置相关配置文件
core-site.xml:
<configuration>
<property>
<name>hadoop.tmp.dir</name> <!--临时目录的父目录-->
<value>/D:/Win10/hadoop-2.9.2/temp</value>
</property>
<property>
<name>dfs.name.dir</name><!--NameNode的备份-->
<value>/D:/Win10/hadoop-2.9.2/NameNodeBack</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value><!--namenode的交互端口-->
</property>
</configuration>
hdfs-site.xml:
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name><!--数据节点的块本地存放目录-->
<value>/D:/Win10/hadoop-2.9.2/data</value>
</property>
</configuration>
yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name><!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序-->
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
hadoop-env.cmd:
<!--用@rem注释掉原有的JAVA_Home-->
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Win10\JDK1.8
5.将第三方的Hadooponwindows-master.zip 解压后的bin(只有bin目录)目录的中的东西替换掉hadoop的bin目录,所有文件
6.在cmd执行 hdfs namenode -format
7.在hadoop的sbin目录下执行start-all.cmd
8.这样就完成了一个在windows下的hadoop的搭建
9.在cmd命令操作hadoop fs -mkdir hdfs://localhost:8020/data
10.上传文件 hadoop fs -put 路径 hdfs://localhost:8020/data
11.查看上传的文件 hadoop fs -ls hdfs://localhost:8020/data
12.注意用-ls 查看文件夹或者目录时一定要在后面加上 /
13.配置hadoop的web界面,需要在 hdfs-site.xml,添加以下属性:
<property>
<name>dfs.namenode.http-address</name>
<value>http://localhost:50070</value>
</property>
14.配置yarn的web管理界面
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>host1:8088</value>
</property>
15.reducemanager 无法启动的问题,将share目录下的\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-2.9.2.jar复制到shar目录下