摘要
MLSQL依赖于Spark,而且算法模块依赖于conda来管理python包。本文将介绍如何用docker快速搭建mlsql的运行环境。
快速启动
运行docker命令
我们可以直接采用下列命令启动一个mlsql服务。
docker run -d --name mlsql-server -p 9003:9003 mlsql/mlsql-solo:1.1.4_spark-2.3.2 /app/streamingpro/start-local.sh
NOTE: 后续我们的release版本都会发布到hub.docker.com
访问服务
MLSQL运行页面
如果需要查看日志,请运行:
docker logs -f mlsql-server
构建最新镜像
公网仓库我们只会发布release版本的服务镜像,接下来我们将介绍如何发布最新版本的docker镜像。
环境准备
docker
java
maven
构建最新mlsql运行环境
下载mlsql工程
git clone https://github.com/allwefantasy/streamingpro.git
cd streamingpro
构建镜像
进入工程目录,运行docker镜像构建命令。
docker build -t mlsql-base:v1 dev/docker
或者直接从hub.docker.com拉取
docker pull mlsql/mlsql-base
查看镜像。
docker images | grep mlsql
REPOSITORY TAG IMAGE ID CREATED SIZE
mlsql-base v1 9fdd4bd7c470 2 weeks ago 813MB
打包mlsql项目
以1.1.4版本为例,我们将mlsql工程打包成可执行的tgz包。
切换到1.1.4版本
gco v1.1.4
maven打包
mvn -DskipTests clean package \
-Pspark-2.3.0 \
-Pstreamingpro-spark-2.3.0-adaptor \
-Ponline \
-Pscala-2.11 \
-Pdsl \
-Passembly \
-Pcrawler \
-Phive-thrift-server \
-Pautoml \
-Pxgboost \
-Pcarbondata
启动服务
docker run -it -v ${PWD}:/app -p 9003:9003 mlsql/mlsql-base:v1 /app/streamingpro/start-local.sh
Enjoy😊