基于docker从零手动搭hadoop分布式集群（超详细亲测有效）

一、目的：仓库中现成的hadoop集群镜像都是一键部署，对于刚学习大数据的同学非常不友好，新手还是需要手动自己搭建集群，这样才能更深入的理解和学习hadoop。考虑到虚拟机太浪费资源，网上搜索到的都是一键式搭建集群的镜像，看好多博客都说registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop这个镜像是个纯净镜像但是我docker pull的时候报错找不到镜像，一番百度之后无果，所以无奈之下就只能自己动手基于docker搭建hadoop分布式集群

二、步骤（如果不想麻烦自己构建hadoop镜像可以直接跳到第4步）

1. 环境准备

• 本机下载并按照好docker环境
• 拉取docker centos镜像
• 下载liunx版本jdk压缩包，最好是1.8
• 下载hadoop源码然后编译成源文件，也可以直接下载编译好的源文件（我下载的是hadoop-2.7.7.tar.gz）

#安装wget
apt-get install wget
#下载hadoop编译文件
wget http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
#解压文件
tar -xvzf Hadoop-2.7.7.tar.gz

2. 将下载好的jdk和hadoop源文件放在一个文件夹下，并在该文件夹下创建一个dockerfile文件（注意jdk和hadoop必须和dockerfile文件在一个文件夹下不然copy命令就会报错），vi加入如下内容：

#选择一个已有的os镜像作为基础：
FROM centos
#镜像作者
MAINTAINER 1919698075
#安装java
COPY jdk1.8.0_144  /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH
#安装hadoop
COPY hadoop-2.7.7 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#安装相应的支持的软件包,openssh-server/clients 和 sudo
RUN yum install -y openssh-server sudo
RUN yum install which
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum install -y openssh-clients
#添加相应的镜像系统下的root用户，这个是必须的操作
RUN echo "root:root" | chpasswd
RUN echo "root ALL=(ALL)    ALL" >> /etc/sudoers
#给SSH生成密钥对
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
#启用sshd服务并且暴露相关的端口信息
RUN mkdir /var/run/sshd
EXPOSE 22
CMD [ "/usr/sbin/sshd","-D"]

3. 基于以上dokcerfil