五行命令使用docker搭建hadoop集群

前言

如果个人想搭建一个hadoop集群玩玩，之前都是采用虚拟机的模式，每个节点都要一套配置，非常的复杂，在网上看到有大佬已经做好了镜像和脚本，拿来五行命令就能使用了！

拉取镜像

sudo docker pull kiwenlau/hadoop:1.0

克隆仓库

git clone https://github.com/kiwenlau/hadoop-cluster-docker

桥接网络

建立一个网络，让hadoop主从节点可以通过hostname互相访问

sudo docker network create --driver=bridge hadoop

运行容器

cd hadoop-cluster-docker
./start-container.sh

启动hadoop

./start-hadoop.sh

启动完成后会自动进入hadoop-master容器内然后可以运行一个小例子：

./run-wordcount.sh

Word Count 是一个测试 Hadoop 的 Shell 脚本，即计算文本中的单词个数。

网页管理

• 我们可以通过网页远程管理 Hadoop：
• Name Node: [Your IP Address]:50070/
• Resource Manager: [Your IP Address]:8088/

总结

如果从hadoop-master退出后，docker ps就可以看到三个容器正在运行。
hadoop-cluster-docker这个文件夹下里面Dockerfile就是用来编译镜像的，大家可以看看里面做了什么操作，主要是下载jdk，下载hadoop，设置环境变量，改变配置文件，复给脚本权限之类的，最后的start-container.sh 也很直观，总之用docker来搭建hadoop真的比原来的虚拟机省心很多。