目录
背景介绍
AI的广泛应用是由AI在开源技术的进步推动的,利用功能强大的开源模型库,数据科学家们可以很容易的训练一个性能不错的模型。但是因为模型生产环境和开发环境的不同,涉及到不同角色人员:模型训练是数据科学家和数据分析师的工作,但是模型部署是开发和运维工程师的事情,导致模型上线部署却不是那么容易。
DaaS(Deployment-as-a-Service)是AutoDeployAI公司推出的基于Kubernetes的AI模型自动部署系统,提供一键式自动部署开源AI模型生成REST API,以方便在生产环境中调用。下面,我们主要演示在DaaS中如何部署经典机器学习模型,包括Scikit-learn、XGBoost、LightGBM、和PySpark ML Pipelines。关于深度学习模型的部署,会在下一章中介绍。
部署准备
我们使用DaaS提供的Python客户端(DaaS-Client)来部署模型,对于XGBoost和LightGBM,我们同样使用它们的Python API来作模型训练。在训练和部署模型之前,我们需要完成以下操作。
-
安装Python DaaS-Client。
pip install --upgrade git+https://github.com/autodeployai/daas-client.git
-
初始化DaasClient。使用DaaS系统的URL、账户、密码登陆系统,文本使用的DaaS演示系统安装在本地的Minikube上。完整Jupyter Notebook,请参考:deploy-sklearn-xgboost-lightgbm-pyspark.ipynb
from daas_client import DaasClient client = DaasClient('https://192.168.64.3:30931', 'username', 'password')
-
创建项目。DaaS使用项目管理用户不同的分析任务,一个项目中可以包含用户的各种分析资产:模型、部署、程序脚本、数据、数据源等。项目创建成功后,设置为当前活动项目,发布的模型和创建的部署都会存储在该项目下。
create_project
函数接受三个参数:- 项目名称:可以是任意有效的Linux文件目录名。
- 项目路由:使用在部署的REST URL中来唯一表示当前项目,只能是小写英文字符(a-z),数字(0-9)和中横线
-
,并且-
不能在开头和结尾处。 - 项目说明(可选):可以是任意字符。
project = '部署测试' if not client.project_exists(project): client.create_project(project, 'deployment-test', '部署测试项目') client.set_project(project)
-
初始化数据。我们使用流行的分类数据集
iris
来训练不同的模型,并且把数据分割为训练数据集和测试数据集以方便后续使用。from sklearn import datasets from sklearn.model_selection import train_test_split import pandas as pd seed = 123456 iris = datasets.load_iris() iris_target_name = 'Species' iris_feature_names = iris.feature_names iris_df = pd.DataFrame(iris.data, columns=iris_feature_names) iris_df[iris_target_name] = iris.target X, y = iris_df[iris_feature_names], iris_df[iris_target_name] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=seed)
-
模型部署流程。主要包含以下几步:
- 训练模型。使用模型库提供的API,在
iris
数据集上训练模型。 - 发布模型。调用
publish
函数发布模型到DaaS系统。 - 测试模型(可选)。调用
test
函数获取测试API信息,可以使用任意的REST客户端程序测试模型在DaaS中是否工作正常,使用的是DaaS系统模型测试API。第一次执行test
会比较慢,因为DaaS系统需要启动测试运行时环境。 - 部署模型。发布成功后,调用
deploy
函数部署部署模型。可以使用任意的REST客户端程序测试模型部署,使用的是DaaS系统正式部署API。
- 训练模型。使用模型库提供的API,在
部署Scikit-learn模型
-
训练一个Scikit-learn分类模型:SVC。
from sklearn.svm import SVC model = SVC(probability=True, random_state=seed) model