环境:windows10
软件:Docker DesktopGit
零、为什么
为什么我明明不久前才写过在虚拟机中安装hadoop的文章,现在又要写使用docker安装的呢。原因很简单…系统注册表弄崩溃了,只能重装系统,然后hadoop集群没了。(真是个悲伤的故事)
想尝试一下新的安装方式拓宽眼界,然后因为百度到的教程多半都是linux或者不全,所以我干脆将自己安装的过程记录下来,当个备忘录,也可以给其他人参考。
一、开始
1、docker安装
菜鸟教程
2、打开命令提示符(管理员)
3、输入docker pull kiwenlau/hadoop:1.0
拉取镜像等待结束(结果如下图)
4、【需要安装Git软件】输入git clone https://github.com/kiwenlau/hadoop-cluster-docker
克隆项目(结果如下图)
5、输入docker network create --driver=bridge hadoop
创建网桥(集群间通信)(结果如下图)
6、在C:\Users\用户名\hadoop-cluster-docker默认克隆目录下(没有这个目录可以搜索下载到哪了),右键选择Git Hash Here(需要安装Git)
7、输入./start-container.sh
启动容器(如果出现下图则失败,跳到8)
8、如果7失败,用记事本打开start-container.sh文件,把所有sudo命令都删除(记得备份),再次按照7的操作输入。(出现下图则成功)
sudo是linux下使用管理员权限的前缀命令,windows下用管理员运行就行了
9、打开docker窗口,一般可以看到下图六个东西(如果不在运行则点击运行,不是6个就是sudo命令没删干净):
点击第二个按钮进入命令行
10、命令行下使用linux操作,输入ls
可以看到当前目录下的文件:
11、在hadoop-master的命令行中输入./start-hadoop.sh
,等待启动完毕,没有error则成功
12、在hadoop-master的命令行中输入./run-wordcount.sh
,运行wordcount测试一下效果(如下图则成功)
二、其他用法
1、docker images
查看映像
2、N节点Hadoop集群搭建,将一中第7步的
./start-container.sh
命令改为
./resize-cluster.sh n
加./start-container.sh n
(n为集群数)
3、输入在浏览器输入http://localhost:50070/
可以查看名称节点的情况,输入http://localhost:8088/
可以查看资源管理器
4、最后感谢镜像作者寒雁的辛苦付出。