【Hadoop】基于Docker搭建集群环境

Docker-Hadoop集群

1. Hadoop完全分布式集群步骤总结

---

本篇博文主要是1-6的步骤。

1. 更新apt ——APT是Advanced Packaging Tool的缩写，是一款强大的包管理工具，也可以称作机制，通过终端安装软件一般是使用apt instll 命令

2. 安装vim —— 文本编辑器，是编辑环境变量以及配置文件最常用的文本编辑器

3. 安装sshd —— 无密码登陆服务，用于集群各节点之间的无密码访问

4. 安装JDK —— Hadoop的底层HDFS和MapReduce都是基于Java语言实现的，所以需要JVM环境

5. 下载Hadoop集群相关资源，并设置配置文件

6. 做好以上准备工作后，将当前的容器保存为一个新镜像

7. 以新镜像开启所需的节点个数，每个节点作为集群的一个节点

8. 创建容器后，测试ssh是否有效，各节点之间必须支持无密码登陆

9. 配置各节点的 etc/hosts 文件，设置主机名与IP之间的映射

10. 在多个节点中挑选一个节点作为Master节点，其他节点则作为Slave节点

11. 在主节点中配置集群的副节点 在主节点中修改Hadoop下的./etc/hadoop/workers （当前是Hadoop 3.x.x版本 ，之前的版本是slave文件）

12. 在主节点启动集群，首次启动需初始化Namenode

13. JPS查看进程，主节点包括NameNode、SecondaryNamenode、ResourceManager，副节点包括NodeManager和DataNode

14. 在HDFS创建目录，并上传Hadoop下的配置文件，测试运行分布式实例，查询HDFS里的结果文本

2. 集群环境前的准备

---

准备Ubuntu镜像

sudo docker pull ubuntu

创建Docker内部传输文件目录

sudo mkdir /usr/local/dockerbuild

创建容器

sudo docker run -it -v /usr/local/dockerbuild:/root/build/ --name pc1 ubuntu

2.1 安装 Vim 更新 APT

---

先安装好vim之后再修改镜像源

apt-get update
apt-get install vim

设置系统镜像源，使用apt-get install 安装软件会更快

参考资料：https://developer.aliyun.com/mirror/ubuntu?spm=a2c6h.13651102.0.0.3e221b11KruDiG

【1】 备份系统原镜像文件 sources.list后删除原文件

cd /etc/apt
cp sources.list sources.list.bak
rm -rf sources.list