Kaito 项目安装与配置指南

Kaito 项目安装与配置指南

kaito Kubernetes AI Toolchain Operator 项目地址: https://gitcode.com/gh_mirrors/ka/kaito

1. 项目基础介绍

Kaito 是一个开源项目，旨在自动化在 Kubernetes 集群中部署和运行 AI/ML 模型的推断或微调工作负载。该项目主要用于管理和运行大型开源模型，例如 falcon 和 phi-3 等。Kaito 通过容器镜像来管理大型模型文件，并提供预设配置来简化模型部署过程。

主要编程语言：Go

2. 项目使用的关键技术和框架

• Kubernetes Custom Resource Definition (CRD)：Kaito 使用 Kubernetes 的 CRD 来定义和操作自定义资源。
• Container Images：使用容器镜像来管理和部署模型，确保环境一致性。
• Helm Charts：用于简化部署流程的 Kubernetes 包管理工具。
• Azure Resource Manager：与 Azure 云服务交互，自动配置所需资源。

3. 项目安装和配置准备工作

在开始安装 Kaito 之前，请确保您已经完成了以下准备工作：

• 安装了 Kubernetes 集群。
• 安装了 Azure CLI 工具。
• 确保您的 Kubernetes 集群拥有访问 Azure 资源的权限。

安装步骤

步骤 1：安装 Kaito Helm Chart

首先，您需要从 Helm 仓库中下载 Kaito 的 Helm Chart。

helm repo add kaito https://kaito-project.github.io/charts
helm install kaito kaito/kaito

步骤 2：配置 Azure 资源

接下来，您需要使用 Azure CLI 来配置必要的 Azure 资源。

az login
az account set --subscription <YourAzureSubscriptionId>
az group create --name <ResourceGroupName> --location <Location>

替换 <YourAzureSubscriptionId>、<ResourceGroupName> 和 <Location> 为您的 Azure 订阅 ID、资源组名称和位置。

步骤 3：部署 Kaito 工作空间

创建一个 Kaito 工作空间以部署模型。

cat <<EOF | kubectl apply -f -
apiVersion: kaito.sh/v1alpha1
kind: Workspace
metadata:
  name: example-workspace
spec:
  resource:
    instanceType: Standard_NC6
    labelSelector:
      matchLabels:
        apps: kaito-example
  inference:
    preset:
      name: phi-3.5-mini-instruct
EOF

请根据您的需求调整 instanceType 和 labelSelector。

步骤 4：验证安装

安装完成后，您可以检查 Kaito 工作空间的状态来验证安装是否成功。

kubectl get workspace example-workspace

当 WORKSPACEREADY 列显示为 True 时，表示安装成功。

以上步骤为您提供了 Kaito 的基础安装和配置指南。请根据实际的部署需求和项目文档进行相应的调整和优化。

kaito Kubernetes AI Toolchain Operator 项目地址: https://gitcode.com/gh_mirrors/ka/kaito