【HADOOP】Hadoop安装(Windows10+Docker+Hadoop)



环境:windows10
软件:Docker DesktopGit

零、为什么


  为什么我明明不久前才写过在虚拟机中安装hadoop的文章,现在又要写使用docker安装的呢。原因很简单…系统注册表弄崩溃了,只能重装系统,然后hadoop集群没了。(真是个悲伤的故事)
  想尝试一下新的安装方式拓宽眼界,然后因为百度到的教程多半都是linux或者不全,所以我干脆将自己安装的过程记录下来,当个备忘录,也可以给其他人参考。

一、开始


1、docker安装
菜鸟教程


2、打开命令提示符(管理员)


3、输入docker pull kiwenlau/hadoop:1.0拉取镜像等待结束(结果如下图)图片来自网络

4、【需要安装Git软件】输入git clone https://github.com/kiwenlau/hadoop-cluster-docker克隆项目(结果如下图)
图片来自网络

5、输入docker network create --driver=bridge hadoop创建网桥(集群间通信)(结果如下图)
图片来自网络


6、在C:\Users\用户名\hadoop-cluster-docker默认克隆目录下(没有这个目录可以搜索下载到哪了),右键选择Git Hash Here(需要安装Git)


7、输入./start-container.sh启动容器(如果出现下图则失败,跳到8)
作者本机结果


8、如果7失败,用记事本打开start-container.sh文件,把所有sudo命令都删除(记得备份),再次按照7的操作输入。(出现下图则成功)
作者本机结果

sudo是linux下使用管理员权限的前缀命令,windows下用管理员运行就行了



9、打开docker窗口,一般可以看到下图六个东西(如果不在运行则点击运行,不是6个就是sudo命令没删干净):
作者本机结果
点击第二个按钮进入命令行
作者本机结果


10、命令行下使用linux操作,输入ls可以看到当前目录下的文件:
作者本机结果


11、在hadoop-master的命令行中输入./start-hadoop.sh,等待启动完毕,没有error则成功


12、在hadoop-master的命令行中输入./run-wordcount.sh,运行wordcount测试一下效果(如下图则成功)
作者本机结果

二、其他用法


1、docker images查看映像


2、N节点Hadoop集群搭建,将一中第7步的
./start-container.sh
命令改为
./resize-cluster.sh n./start-container.sh n(n为集群数)


3、输入在浏览器输入http://localhost:50070/可以查看名称节点的情况,输入http://localhost:8088/可以查看资源管理器


4、最后感谢镜像作者寒雁的辛苦付出。

  • 3
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值