基于Docker的Hadoop集群搭建

环境准备

1.Linux/Mac OS环境
2 Docker环境

1. 简单配置(默认源为官方源，国内速度慢)

在 Linux上 安装 Docker
Docker 的 安装资源文件 存放在Amazon S3，会间歇性连接失败。所以安装Docker的时候，会比较慢。
你可以通过执行下面的命令，高速安装Docker

curl -sSL https://get.daocloud.io/docker | sh

适用于Ubuntu，Debian,Centos等大部分Linux，会3小时同步一次Docker官方资源
2.Docker环境配置+加速
Docker环境搭建可以参考

Docker 基础入门+实例(2)

前言

直接用机器搭建Hadoop环境是一件痛苦的事情，即便是用虚拟机也需要的大量的时间，
并且还有一定的失败率,利用docker虚拟化技术可以省去很多时间。

三节点Hadoop集群搭建过程

拉取docker镜像

sudo docker pull kiwenlau/hadoop:1.0

可能需要等待几分钟…

检查已经拉取的镜像

sudo docker images

clone Github仓库

git clone https://github.com/ifeng2025/docker-hadoop

创建Hadoop网络环境

sudo docker network create --driver=bridge hadoop

启动docker容器

cd docker-hadoop

./start-container.sh

运行结果

一共启动了三个容器，一个master 两个slave

容器运行后自动进入了master/root目录
启动Hadoop

./start-hadoop.sh

运行wordcount

./run-wordcount.sh

Hadoop网页管理

查看自己的Linux环境的ip

ipconfig

NameNode管理地址

https://ip:50070/

ResourceManager管理网址

http://ip:8088/

N节点Hadoop环境搭建

环境准备

前几步和上面相同
docker镜像拉取
clone github
创建Hadoop网络

步骤

1.重新构造Docker镜像

./resize-cluster.sh 5

可以指定n，上面命令n==5
2.启动Docker容器

./start-container.sh 5

n与第一步中的n一致
3.运行Hadoop
同上