KServe 开源项目教程

KServe 开源项目教程

kserveStandardized Serverless ML Inference Platform on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ks/kserve

项目介绍

KServe 是一个基于 Kubernetes 的标准化无服务器机器学习（ML）推理平台。它旨在通过提供高性能、标准化的推理协议，支持多种机器学习框架，包括 OpenAI 规范的生成模型。KServe 支持现代无服务器推理工作负载，具有基于请求的自动扩展功能，包括在 CPU 和 GPU 上的零扩展。它还提供了高可扩展性、密度打包和智能路由使用 ModelMesh，以及简单且可插拔的生产级推理服务，包括预处理/后处理、监控和可解释性。

项目快速启动

安装 KServe

以下是快速安装 KServe 的步骤：

1. 克隆项目仓库：

   git clone https://github.com/kserve/kserve.git
   cd kserve
   

2. 安装 KServe：

   kubectl apply -f install/kserve.yaml
   

3. 验证安装：

   kubectl get pods -n kserve
   

创建第一个 InferenceService

以下是创建一个简单的 InferenceService 的示例：

apiVersion: "serving.kserve.io/v1beta1"
kind: "InferenceService"
metadata:
  name: "example-sklearn-isvc"
spec:
  predictor:
    sklearn:
      storageUri: "gs://kfserving-examples/models/sklearn/1.0/model"

应用该配置：

kubectl apply -f sklearn.yaml

应用案例和最佳实践

应用案例

KServe 广泛应用于各种组织，支持高可扩展性的用例，如大规模模型部署、自动扩展和零扩展等。它还支持现代无服务器推理工作负载，提供高性能和标准化的推理协议。

最佳实践

• 使用 ModelMesh：对于高规模、高密度和频繁变化的模型部署，建议使用 ModelMesh。
• 监控和日志：确保实施有效的监控和日志记录，以便及时发现和解决问题。
• 安全性：遵循最佳安全实践，包括定期更新和安全审查。

典型生态项目

Kubeflow

KServe 是 Kubeflow 的一个重要组件，提供了完整的机器学习生命周期管理，包括模型训练、部署和服务。

Knative

KServe 默认安装 Knative 以支持无服务器部署。Knative 提供了基于请求的自动扩展功能，包括零扩展。

Istio

Istio 用于提供网络和安全功能，包括智能路由和流量管理。

通过这些生态项目，KServe 能够提供一个完整且强大的机器学习推理平台。

kserveStandardized Serverless ML Inference Platform on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ks/kserve