docker 封装sql_MLSQL实战--利用docker快速搭建MLSQL运行环境

摘要

MLSQL依赖于Spark，而且算法模块依赖于conda来管理python包。本文将介绍如何用docker快速搭建mlsql的运行环境。

快速启动

运行docker命令

我们可以直接采用下列命令启动一个mlsql服务。

docker run -d --name mlsql-server -p 9003:9003 mlsql/mlsql-solo:1.1.4_spark-2.3.2 /app/streamingpro/start-local.sh

NOTE: 后续我们的release版本都会发布到hub.docker.com

访问服务

MLSQL运行页面

如果需要查看日志，请运行：

docker logs -f mlsql-server

构建最新镜像

公网仓库我们只会发布release版本的服务镜像，接下来我们将介绍如何发布最新版本的docker镜像。

环境准备

docker

java

maven

构建最新mlsql运行环境

下载mlsql工程

git clone https://github.com/allwefantasy/streamingpro.git

cd streamingpro

构建镜像

进入工程目录，运行docker镜像构建命令。

docker build -t mlsql-base:v1 dev/docker

或者直接从hub.docker.com拉取

docker pull mlsql/mlsql-base

查看镜像。

docker images | grep mlsql

REPOSITORY TAG IMAGE ID CREATED SIZE

mlsql-base v1 9fdd4bd7c470 2 weeks ago 813MB

打包mlsql项目

以1.1.4版本为例，我们将mlsql工程打包成可执行的tgz包。

切换到1.1.4版本

gco v1.1.4

maven打包

mvn -DskipTests clean package \

-Pspark-2.3.0 \

-Pstreamingpro-spark-2.3.0-adaptor \

-Ponline \

-Pscala-2.11 \

-Pdsl \

-Passembly \

-Pcrawler \

-Phive-thrift-server \

-Pautoml \

-Pxgboost \

-Pcarbondata

启动服务

docker run -it -v ${PWD}:/app -p 9003:9003 mlsql/mlsql-base:v1 /app/streamingpro/start-local.sh

Enjoy😊