Kyuubi Docker 镜像构建

本文参考 Kyuubi 官方文档 https://kyuubi.apache.org/docs/r1.5.2-incubating/deployment/kyuubi_on_kubernetes.html#build-kyuubi-docker-image

一、环境

• 依赖于上一篇文章中构建的spark镜像 Spark Docker镜像构建

组件	版本	备注
kyuubi	1.5.2
Spark	3.3.0	基础镜像

二、Docker 镜像构建

#####################################################################################################################################
# 1. 环境变量
#####################################################################################################################################

#自定义目录，根据实际情况进行更改
BASE_DIR=/opt/soft/lakehouse/kyuubi
USER_HOME=/home/luke
#镜像仓库地址
HARBOR_PATH=core.harbor.apps.g66666.hk.my-demo.tech/lakehouse
#版本变量
KYUUBI_VERSION=1.5.2
KYUUBI_IMAGE_VERSION=v1.5.2
SPARK_VERSION=3.3.0
SPARK_BASE_IMAGES=${HARBOR_PATH}/spark-volcano:${SPARK_VERSION}

#####################################################################################################################################
# 2. 下载二进制安装包
#####################################################################################################################################
cd ${BASE_DIR}
# 下载源码包
wget https://dlcdn.apache.org/incubator/kyuubi/kyuubi-${KYUUBI_VERSION}-incubating/apache-kyuubi-${KYUUBI_VERSION}-incubating-bin.tgz
 # 解压
tar -zxf apache-kyuubi-${KYUUBI_VERSION}-incubating-bin.tgz

#####################################################################################################################################
# 3. 编写Dockerfile
#####################################################################################################################################

cd ${BASE_DIR}/apache-kyuubi-${KYUUBI_VERSION}-incubating-bin/docker


cat << EOF | tee Dockerfile
# Usage:
#   1. use ./build/dist to make binary distributions of Kyuubi or download a release
#   2. Untar it and run the docker command below
#      docker build -f docker/Dockerfile -t repository/kyuubi:tagname .
#   Options:
#     -f this docker file
#     -t the target repo and tag name
#     more options can be found with -h

ARG BASE_IMAGE=openjdk:8-jre-slim
ARG spark_provided="spark_builtin"

FROM \${BASE_IMAGE} as builder_spark_provided
ONBUILD ARG spark_home_in_docker
ONBUILD ENV SPARK_HOME \${spark_home_in_docker}

FROM \${BASE_IMAGE} as builder_spark_builtin

ONBUILD ENV SPARK_HOME /opt/spark
ONBUILD RUN mkdir -p  \${SPARK_HOME}
ONBUILD COPY spark-binary \${SPARK_HOME}

FROM builder_\${spark_provided}

ARG kyuubi_uid=10009
USER root

ENV KYUUBI_HOME /opt/kyuubi
ENV KYUUBI_LOG_DIR \${KYUUBI_HOME}/logs
ENV KYUUBI_PID_DIR \${KYUUBI_HOME}/pid
ENV KYUUBI_WORK_DIR_ROOT \${KYUUBI_HOME}/work

RUN set -ex && \
    sed -i 's/http:\/\/deb.\(.*\)/https:\/\/deb.\1/g' /etc/apt/sources.list && \
    apt-get update && \
    apt install -y bash tini libc6 libpam-modules krb5-user libnss3 procps && \
    useradd -u \${kyuubi_uid} -g root kyuubi && \
    mkdir -p \${KYUUBI_HOME} \${KYUUBI_LOG_DIR} \${KYUUBI_PID_DIR} \${KYUUBI_WORK_DIR_ROOT} && \
    chmod ug+rw -R \${KYUUBI_HOME} && \
    chmod a+rwx -R \${KYUUBI_WORK_DIR_ROOT} && \
    rm -rf /var/cache/apt/*

COPY bin \${KYUUBI_HOME}/bin
COPY jars \${KYUUBI_HOME}/jars
COPY externals/engines/spark \${KYUUBI_HOME}/externals/engines/spark

WORKDIR \${KYUUBI_HOME}

CMD [ "./bin/kyuubi", "run" ]

USER \${kyuubi_uid}
EOF

#####################################################################################################################################
# 4. 构建Docker 镜像
#####################################################################################################################################

cd ${BASE_DIR}/apache-kyuubi-${KYUUBI_VERSION}-incubating-bin/docker

sudo ../bin/docker-image-tool.sh \
-f Dockerfile \
-t ${KYUUBI_IMAGE_VERSION} \
-S /opt/spark -b BASE_IMAGE=${SPARK_BASE_IMAGES} build

sudo docker tag kyuubi:${KYUUBI_IMAGE_VERSION} ${HARBOR_PATH}/lakehouse/kyuubi:${KYUUBI_IMAGE_VERSION}
sudo docker push ${HARBOR_PATH}/lakehouse/kyuubi:${KYUUBI_IMAGE_VERSION}