如何在windows系统下安装hadoop

最新推荐文章于 2024-08-14 03:18:21 发布

shrugginG

最新推荐文章于 2024-08-14 03:18:21 发布

阅读量4.1k

点赞数 3

分类专栏：软件安装

本文链接：https://blog.csdn.net/weixin_43627314/article/details/109245056

版权

软件安装专栏收录该内容

1 篇文章 0 订阅

订阅专栏

如何在windows系统下安装hadoop

问题描述

今天晚上组会师兄要求提前在自己的电脑上配置好几个软件环境，其中一个就是学习大数据必不可少的软件hadoop，之前在b站学习发现一般都是在linux中配置hadoop，但是今天我看到师兄截图中的环境变量明显是在windows系统中配置的，所以今天下午特地研究了一下windows系统中hadoop的安装流程。

详细流程

首先原生hadoop是没有专门针对Windows的安装包的，所以我们需要借用linux中hadoop的安装包来实现安装，首先我们需要下载两个软件。
- hadoop安装包
  
  版本可以根据自己的喜好选择，在这里我选择的是hadoop2.7.7。
  
  不想去官网的话，直接可以从清华的镜像下载。
  
  https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
  
  下载 hadoop-2.7.7.tar.gz
- hadooponwindows-master.zip
  
  链接：https://pan.baidu.com/s/1TRKQd9Qt7-as7OSVNfDVtA
  提取码：opns
  复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V4的分享
确认JAVA_HOME配置正确

如果之前java正常使用的话这一步应该没有任何问题。

还有path中也需要正确配置bin目录
使用编辑器打开{你的hadoop文件夹}/etc/hadoop/hadoop-env.cmd
修改JAVA_HOME的路径
把set JAVA_HOME改为jdk的位置(也就是JAVA_HOME的路径)
注意其中PROGRA~1代表Program Files
set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171
在haddoop的根目录下新建几个文件夹：
- tmp
- data
  - datanode
  - namenode
打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml修改其中的两个文件路径

注意文件路径的格式正确！
拷贝hadoop.dll文件到C:\Windows\System32

不然在window平台使用MapReduce测试时报错
以管理员身份打开命令提示符
输入hdfs namenode -format,看到seccessfully就说明format成功
转到Hadoop-2.7.3\sbin文件下

输入start-all，启动hadoop集群

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZiwQxhqe-1603441679276)(C:\Users\12452\Desktop\我的笔记\我已经解决的问题\software_setup\window下hadoop的安装\images\image-20201023162100447.png)]

然后就会出现下面四个窗口：

输入jps - 可以查看运行的所有节点
测试hadoop是否开启成功

访问http://localhost:50070,访问hadoop的web界面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TnuO6TZc-1603441679283)(http://www.shrugging.cn/markdownimages/image-20201023162359586.png)]

访问http://localhost:8088,访问yarn的web界面，有就表明已经成功
关闭所有的节点