一、实验目的和要求
目的
- 完成容器平台Docker的安装、配置
- 完成容器平台Docker的Hadoop安装、配置
要求 - 实现容器平台Docker的安装及基本操作;
- 实现在容器里安装Hadoop集群。
二、实验环境(实验设备)
硬件: 笔记本一台
软件:Docker,Windows 10 系统
三、实验原理及内容
- 安装docker
1.1 Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证CentOS 版本是否支持 Docker 。
$ uname -r #查看当前的内核版本。
1.2 使用 root 权限登录 Centos。确保 yum 包更新到最新。
$ sudo yum update
1.3 安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的。
$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2
1.4 设置yum源
$ sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
1.5 可以查看所有仓库中所有docker版本,并选择特定版本安装。
$ yum list docker-ce --showduplicates | sort -r
1.6 安装docker
$ sudo yum install docker-ce
$ sudo yum install
1.7 启动并加入开机启动
$ sudo systemctl start docker
$ sudo systemctl enable docker
1.8 验证安装是否成功
$ docker version
- Docker中安装hadoop
2.1 下载hadoop镜像
docker pull docker.io/sequenceiq/hadoop-docker
然后使用docker images命令检查
2.2 创建hadoop容器
docker run -id docker.io/sequenceiq/hadoop-docker:latest /etc/bootstrap.sh -bash
2.3 docker logs查看启动日志
docker exec -it b230f1cd2363 bash进入hadoop容器,查看具体组件的启动日志
/usr/local/hadoop/logs/hadoop-root-namenode-b230f1cd2363.out执行jps,可以看到当前组件都已经启动正常。
2.4 ./hdfs dfs -ls / 查看hdfs目录
- 启动hadoop集群,在终端显示
四、实验小结
实验中遇到的主要问题及解决方法
问题:因为之前已经安装过旧版本的docker,在安装的时候报错如下
解决方法:
- 卸载旧版本的包
$ sudo yum erase docker-common-2:1.12.6-68.gitec8512b.el7.centos.x86_64
- 再次安装docker
$ sudo yum install docker-ce
实验心得
对Docker的几个概念有了一定的了解:镜像,容器,仓库。
镜像(image):Docker 镜像就是一个只读的模板,镜像可以用来创建 Docker 容器。Docker 提供了一个很简单的机制来创建镜像或者更新现有的镜像,用户甚至可以直接从其他人那里下载一个已经做好的镜像来直接使用
容器( Container):容器是从镜像创建的运行实例。它可以被启动、开始、停止、删除。每个容器都是相互隔离的、保证安全的平台。可以把容器看做是一个简易版的 Linux 环境,Docker 利用容器来运行应用。
仓库:仓库是集中存放镜像文件的场所,仓库注册服务器(Registry)上往往存放着多个仓库,每个仓库中又包含了多个镜像,每个镜像有不同的标签(tag)。