如何在windows系统下安装hadoop

如何在windows系统下安装hadoop

问题描述

今天晚上组会师兄要求提前在自己的电脑上配置好几个软件环境,其中一个就是学习大数据必不可少的软件hadoop,之前在b站学习发现一般都是在linux中配置hadoop,但是今天我看到师兄截图中的环境变量明显是在windows系统中配置的,所以今天下午特地研究了一下windows系统中hadoop的安装流程。

详细流程

  1. 首先原生hadoop是没有专门针对Windows的安装包的,所以我们需要借用linux中hadoop的安装包来实现安装,首先我们需要下载两个软件。

    • hadoop安装包

      版本可以根据自己的喜好选择,在这里我选择的是hadoop2.7.7。

      不想去官网的话,直接可以从清华的镜像下载。

      https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

      下载 hadoop-2.7.7.tar.gz

    • hadooponwindows-master.zip

      链接:https://pan.baidu.com/s/1TRKQd9Qt7-as7OSVNfDVtA
      提取码:opns
      复制这段内容后打开百度网盘手机App,操作更方便哦–来自百度网盘超级会员V4的分享

  2. 确认JAVA_HOME配置正确

    如果之前java正常使用的话这一步应该没有任何问题。

    image-20201023155857397

    还有path中也需要正确配置bin目录

    image-20201023155944184

  3. 使用编辑器打开{你的hadoop文件夹}/etc/hadoop/hadoop-env.cmd
    修改JAVA_HOME的路径
    把set JAVA_HOME改为jdk的位置(也就是JAVA_HOME的路径)
    注意其中PROGRA~1代表Program Files
    set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171

    image-20201023160548483

  4. 在haddoop的根目录下新建几个文件夹:

    • tmp
    • data
      • datanode
      • namenode

    image-20201023160751965

    image-20201023160837145

  5. 打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml修改其中的两个文件路径

    image-20201023161050886

    注意文件路径的格式正确!

  6. 拷贝hadoop.dll文件到C:\Windows\System32

    image-20201023161339689

    image-20201023161641674

    不然在window平台使用MapReduce测试时报错

  7. 以管理员身份打开命令提示符
    输入hdfs namenode -format,看到seccessfully就说明format成功

    image-20201023161824014

    image-20201023161926853

  8. 转到Hadoop-2.7.3\sbin文件下

    image-20201023162026008

    输入start-all,启动hadoop集群

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZiwQxhqe-1603441679276)(C:\Users\12452\Desktop\我的笔记\我已经解决的问题\software_setup\window下hadoop的安装\images\image-20201023162100447.png)]

    然后就会出现下面四个窗口:

    image-20201023162204073

    image-20201023162214252

    image-20201023162227781

    image-20201023162241487

    输入jps - 可以查看运行的所有节点

    image-20201023162312573

  9. 测试hadoop是否开启成功

    访问http://localhost:50070,访问hadoop的web界面

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TnuO6TZc-1603441679283)(http://www.shrugging.cn/markdownimages/image-20201023162359586.png)]

    访问http://localhost:8088,访问yarn的web界面,有就表明已经成功

    image-20201023162455389

  10. 关闭所有的节点

    image-20201023162556447

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值