大数据：04 HADOOP 在 docker 上部署完全分布式

HADOOP 在 docker 上部署完全分布式

前言

 搭建完全分布式的 Hadoop 环境并运行实例

---

1、集群准备工作

 此实验用到 3 个服务器节点组成一个集群，由于在本地多开虚拟机电脑会吃不消，所以采用 docker 来组建集群。

 因为前几次做伪分布式实验时已在本地部署了系统为 Ubuntu18.04 的虚拟机 hadoop101，所以直接在这个虚拟机上部署 docker 。
 

1.1 安装 docker

 1. 更换 apt 源为国内的阿里云源：
   1). 备份原来的源列表文件：sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

   2). 更新 sources.list 文件，将其中所有的源地址更改为阿里云源 http://mirrors.aliyun.com/ubuntu/ ：

   3). 安装依赖包：sudo apt install apt-transport-https ca-certificates software-properties-common curl

   4). 添加 Docker 的官方 GPG 密钥：curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

   5). 通过搜索指纹的后8个字符，验证现在是否拥有带有指纹的密钥：sudo apt-key fingerprint 0EBFCD88

   6). 设置稳定版仓库：sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

   7). 添加成功后更新软件包缓存：sudo apt update

   8). 安装 Docker-ce：sudo apt install docker-ce

   9). 设置开机自启动并启动 Docker-ce（安装成功后默认已设置并启动，可忽略）：sudo systemctl enable docker 和 sudo systemctl start docker

   10). 测试运行：sudo docker run hello-world

   11). 添加当前用户到 docker 用户组，可以不用 sudo 运行 docker（可选）：sudo groupadd docker 和 sudo usermod -aG docker $USER （$USER 换成自己的用户名，下同）

   12). 更新用户组 并 重启 docker-daemon：newgrp docker 和 sudo systemctl restart docker

   13). 设置目录及其所有文件的权限：sudo chown “$USER”:"$USER" /home/"$USER"/.docker -R 和 sudo chmod g+rwx “/home/$USER/.docker” -R

   14). 使用当前用户（非 root 用户、非 sudo 命令）测试（可选）:docker run hello-world
 

1.2 在 docker 上安装 ubuntu 系统

 1. 在 docker 服务器上查找镜像（可以看到第一个是官方镜像并且有 1w 多星，就下这个）：docker search ubuntu

 2. 拉取镜像（pull 命令 + 镜像名，很像 git 的操作，镜像名后面不带 tag 则默认拉取最新版本的镜像、即 latest）：docker pull ubuntu

 3. 查看镜像是否安装成功（很小，纯净系统镜像只有 74MB）：docker images

 4. 在虚拟机上建立共享文件夹用于以后与镜像中的系统交互文件，这里我建在了 根目录下的 home 下的 hdp101 下，也就是个人用户目录下，取名为 build：

 5. 启动 ubuntu 镜像系统：docker run -i -t -v /home/hdp101/build/:/root/build --name ubuntu ubuntu

   参数说明：
      -i ：以交互模式运行容器，通常与 -t 连用
      -t ：为 docker 容器重新分配一个 tty 伪输入终端使用户能够直接与容器交互，比如在下图中，启动容器过后，我们的 tty 终端直接进入到了镜像系统的 root 用户中，后面的字符串为容器代号、可以理解为主机名
      -v ：挂载数据卷。将本地的 /home/hdp101/build/ 目录挂载到 镜像系统的 /root/build 目录下，方便交互数据
      –name ：为容器取个别名，这里为 --name ubuntu
      ubuntu ： 最后一个 “ubuntu” 表示 docker run 要启动的镜像文件，即不加参数的启动为 docker run ubuntu 这种格式

 6. 现在我们新打开一个终端（因为现有的终端已经进入到镜像 ubuntu 系统中了，所以我们新开一个终端用于操作虚拟机，下面统一称这个终端为 本机终端），并查看容器的启动情况，可以看到容器的基本信息，如容器 ID、容器使用的是哪个镜像、容器创建时间、容器启动状态为 up（正在运行）、容器名称等：docker ps