Docker环境下Hadoop单机伪分布式

一、前提条件

以下所有操作都基于Docker，需要预先安装，安装教程如下：

Docker安装教程（视频+图文）

软件包准备：hadoop-2.7.7.tar.gz、jdk-8u191-linux-x64.tar.gz

二、编写Dockerfile

[xiaokang@hadoop ~]$ sudo vim Hadoop-Single-Dockerfile

#选择centos7.7.1908作为基础镜像
FROM centos:centos7.7.1908
#镜像维护者信息
MAINTAINER "xiaokang<xiaokang.188@qq.com>"
#描述信息
LABEL name="Hadoop-Single" \
			build_date="2020-04-16 11:24:12" \
			wechat="xk1181259634" \
			personal_site="https://www.xiaokang.cool/"
#构建容器时需要运行的命令
#安装openssh-server、openssh-clients、sudo、vim和net-tools软件包
RUN yum -y install openssh-server openssh-clients sudo vim net-tools
#生成相应的主机密钥文件
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
RUN ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key
RUN ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key
#创建自定义组和用户、设置密码并授予root权限
RUN groupadd -g 1124 bigdata && useradd -m -u 1124 -g bigdata xiaokang
RUN echo "xiaokang:xiaokang" | chpasswd
RUN echo "xiaokang	ALL=(ALL)	NOPASSWD:ALL" >> /etc/sudoers 
#创建模块和软件目录并修改权限
RUN mkdir /opt/software && mkdir /opt/moudle
#将宿主机的文件拷贝至镜像（ADD会自动解压）
COPY copyright.txt /home/xiaokang/copyright.txt
ADD jdk-8u191-linux-x64.tar.gz /opt/moudle
ADD hadoop-2.7.7.tar.gz /opt/software
RUN chown -R xiaokang:bigdata /opt/moudle && chown -R xiaokang:bigdata /opt/software
#设置环境变量
ENV CENTOS_DEFAULT_HOME /root
ENV JAVA_HOME /opt/moudle/jdk1.8.0_191
ENV HADOOP_HOME /opt/software/hadoop-2.7.7
ENV JRE_HOME ${JAVA_HOME}/jre
ENV CLASSPATH ${JAVA_HOME}/lib:${JRE_HOME}/lib
ENV PATH ${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
#终端默认登录进来的工作目录
WORKDIR $CENTOS_DEFAULT_HOME
#启动sshd服务并且暴露22端口 
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

三、构建镜像

Dockerfile中所需的文件默认从当前目录读取并进行构建，注意最后一定要有一个英文句号

[xiaokang@hadoop ~]$ sudo docker build -f Hadoop-Single-Dockerfile -t xiaokangxxs/hadoop-single:2.7.7 .

构建成功：

查看镜像信息：

四、修改配置

3.1 创建自定义网络

默认情况下启动的Docker容器，都是使用 bridge，Docker安装时创建的桥接网络，每次Docker容器重启时，会按照顺序获取对应的IP地址，这个就导致重启后容器的IP地址就变了。因此我们需要创建自定义网络：

[xiaokang@hadoop ~]$ sudo docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
7a8469ab926c        bridge              bridge              local
eddaf7096efc        host                host                local
62d73bc5bf8f        none                null                local
[xiaokang@hadoop ~]$ sudo docker network inspect 7a8469ab926c

#创建自定义网络，并且指定网段：172.24.0.0/24
[xiaokang@hadoop ~]$ sudo docker network create --subnet=172.24.0.0/24 xiaokang-network
f460e6d2ad6ce