Docker + Hadoop 搭建完全分布式

部署 Centos7

---

Docker 国内源

参考源

• 中科大

• 网易源

• 阿里镜像（建议）

进入管理控制台 --> 产品与服务 --> 弹性计算 --> 容器镜像服务 --> 镜像加速器，复制自己的专属加速器地址。

添加

Linux

vi /etc/docker/daemon.json

MAC

请前往 Preferences -> Daemon 处设置

重启 docker

Linux

systemctl restart docker

镜像部署

拉取

docker pull centos:centos7

检查本地镜像

docker images

启动

docker run -itd --name 「DIY Image Name」 centos:centos7 /bin/Bash

查看启动信息

docker ps

管理容器

docker start/kill/stop/rm 「CONTAINER ID」

进入容器

docker exec -it 「CONTAINER ID」 /bin/Bash

制作开发环境镜像

=======================================================================

Centos 国内源

---

参考

• 网易开源镜像站

• 腾讯软件源

• 清华大学开源软件镜像站

• 中科大开源软件镜像

• 阿里云官方镜像站

基础工具安装

---

vim

Linux 最好用的文本编辑器

yum -y install vim

net-tools

Linux 网络管理工具

yum -y install net-tools

openssh-clients/openssh-server

ssh 客户端

yum -y install openssh-clients && yum -y install openssh-server

openssl

通过 SSL 保障，保证安全通信的软件库包

yum -y install openssl

wget

远程下载工具

yum -y install wget

开发工具安装

---

Mysql 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.1 小节

Java 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.2 小节

Python3 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.3 小节

Scala 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 5.4 小节

制作镜像

---

打包镜像

docker commit -a “「Image Name」” -m “「Comment」” 「CONTAINER ID」 「Image Name」:v「version」

开始生产集群

=====================================================================

统一口径

---

创建网络

docker network create --subnet=192.168.10.1/24 「Net Name」

统一 IP 和 Host

NameNode

docker run -itd --name nn \

–privileged=true -p 50070:50070 -p 8080:8080\

–hostname nn \

–net hadoop --ip 192.168.10.10 \

–add-host dn1:192.168.10.11 \

–add-host dn2:192.168.10.12 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

如果需要开放端口请添加-p参数内容为 容器内端口:映射至本机的端口

DataNode 1

docker run -itd --name dn1 \

–privileged=true \

–hostname dn1 \

–net hadoop --ip 192.168.10.11 \

–add-host nn:192.168.10.10 \

–add-host dn2:192.168.10.12 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

DataNode 2

docker run -itd --name dn2 \

–privileged=true \

–hostname dn2 \

–net hadoop --ip 192.168.10.12 \

–add-host dn1:192.168.10.11 \

–add-host nn:192.168.10.10 \

-d 「Image Name」（记得带版本号）\

/usr/sbin/init

SSH 配置

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第 6.2.2 小节

Hadoop 完全分布式部署

=============================================================================

准备

---

下载地址

wget https://dlcdn.apache.org/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz