最近要在公司里搭建一个hadoop测试集群,于是采用docker来快速部署hadoop集群。
0. 写在前面
网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。
目标:使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群
准备:
-
首先要有一台内存8G以上的centos7机器,我用的是阿里云主机。
-
其次将jdk和hadoop包上传到服务器中。
我安装的是hadoop2.7.7。包给大家准备好了,链接:https://pan.baidu.com/s/15n_W-1rqOd2cUzhfvbkH4g 提取码:vmzw。
1. 步骤
大致分以下几步:
- 安装docker
- 基础环境准备
- 配置网络,并启动docker容器
- 配置host及ssh免密登录
- 安装配置hadoop
- 测试使用hadoop
1.1 安装docker
依次执行如下步骤安装docker。如果有docker环境的可以跳过。
yum update
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce
systemctl start docker
docker -v
1.2 基础环境准备
1.2.1 创建基础的centos7镜像
- 拉取官方centos7镜像
docker pull centos
- 通过build Dockfile生成带ssh功能的centos镜像
-
创建Dockerfile文件
vi Dockerfile
将如下内容写入Dockerfile
FROM centos MAINTAINER mwf RUN yum install -y openssh-server sudo RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config RUN yum install -y openssh-clients RUN echo "root:qwe123" | chpasswd RUN echo "root ALL=(ALL) ALL" >> /etc/sudoers RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key RUN mkdir /var/run/sshd EXPOSE 22 CMD ["/usr/sbin/sshd", "-D"]
上述内容大概意思是:以centos镜像为基础,设置密码为wqe123,安装ssh服务并启动
-
构建Dockerfile
docker build -t="centos7-ssh" .
将生成一个名为
centos7-ssh
的镜像,可以通过docker images
查看
1.2.2 生成有hadoop和jdk环境的镜像
-
将准备好的包放在当前目录下。
hadoop-2.7.7.tar.gz
和jdk-8u202-linux-x64.tar.gz
-
通过build Dockfile生成带hadoop和jdk环境的centos镜像