有时候需要调试hadoop的程序,如果都要传到linux上,非常不方便。我们可以搭建一个windows的单机版本hadoop环境,测试我们的代码。
一、下载所需文件
JDK下载地址,jdk1.8下载
Hadoop下载,hadoop下载,进去后找到一个版本然后点击 Binary download 下载到本地。
Hadoop windows环境编译工具,winutils下载 ,下载后解压出来
二、安装文件
jdk安装,省略
hadoop安装,由于下载的hadoop文件是不用安装的,我们只需要解压出来就可以了 解压目录 D:\dev-tools\hadoop\hadoop-2.8.3
三、环境变量配置
jdk,省略
在环境变量中建立HADOOP_HOME,并在path中配置 %HADOOP_HOME%\bin
四、配置hadoop文件
配置 core-site.xml文件
hadoop.tmp.dir
/D:/data/hadoop
fs.default.name
hdfs://localhost:9000
2. 配置mapred-site.xml
mapreduce.framework.name
yarn
配置 hdfs-site.xml
dfs.replication
1
配置 yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
找到 hadoop-env.cmd 文件并打开,添加下面
set JAVA_HOME=%JAVA_HOME%
五、替换文件
解压我们之前下载的 winutils-master 文件,找到符合自己的版本,替换 D:\dev-tools\hadoop\hadoop-2.8.3\bin 的文件
六、运行
1.运行cmd窗口,执行hdfs namenode -format ,格式化hdfs文件系统。
2.运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd启动hadoop,包括yarn/hdfs
七、测试
打开下面的网页可以查看hdfs状态
http://localhost:50070
打开下面的网页可以查看yarn状态
http://localhost:8088/cluster
配置好的hadoop 2.8.3,已经上传到网盘,可以自行下载后配置环境变量即可使用
链接:https://pan.baidu.com/s/1kfbWDu7MuGuOPAQ1jn0fKw
提取码:0g4u