字节跳动开源云原生机器学习平台 Klever，2024阿里巴巴Android面试真题解析

• ormb：模型打包、解压、上传、下载工具（点击了解 ormb）

• model-registry：模型仓库及模型服务 API 管理层

• modeljob-operator：ModelJob controller，管理模型解析、模型转换任务

• klever-web：前端组件

• Istio：开源服务网格组件，模型服务通过 Istio 对外暴露模型服务地址，实现模型服务按内容分流和按比例分流

• Harbor：模型底层存储组件，对模型配置和模型文件进行分层存储

• Seldon Core：开源模型服务管理的 Seldon Deployment CRD 的 controller，通过 SeldonDeployment CR 实现模型服务的管理

使用场景

---

如前所述，目前机器学习平台 Klever 率先实现的是从模型仓库到模型服务的自动化管理，具体来说，它可以支持以下两种应用场景：

• 模型管理

开发的模型在团队内外、公司内外通过 ormb + Harbor 进行管理和分发

用户如果有现成的模型文件，但是不知道如何构建模型服务，那么可通过将模型导入系统，一键部署模型服务

用户可导入模型，获取模型的输入输出等模型内部信息

• 模型服务

支持简单模型服务和基于流量比例及内容分流的高级模型服务

用户可通过构建自定义镜像的方式支持自定义模型服务

支持 GPU 和 非 GPU 模式部署模型服务

Klever 特性

---

Klever 有三大特性。

首先，通过与 Harbor 结合，它可以满足 OCI 标准的模型仓库管理，用户可以像使用 Docker 管理镜像一样管理机器学习模型。

其次，整个系统可通过容器化的方式部署在 Kubernetes 容器管理平台之上，用户无需管理模型解析、模型转换、模型服务实际运行在哪台物理机之上，系统会自动调度和运行资源充足的机器，并在模型服务负载较高时自动弹性伸缩。

最后，由于机器学习在不同训练过程中往往使用不同的数据集，会产生不同的模型，Klever 支持多种模型服务运行时，可将产生的模型用于提供生产环境可用的在线服务。