Triton Kubernetes 项目使用教程

Triton Kubernetes 项目使用教程

triton-kubernetesKubernetes on Triton项目地址:https://gitcode.com/gh_mirrors/tr/triton-kubernetes

目录结构及介绍

Triton Kubernetes 项目的目录结构如下：

triton-kubernetes/
├── charts/
│   └── triton/
│       ├── Chart.yaml
│       ├── templates/
│       │   ├── deployment.yaml
│       │   ├── service.yaml
│       │   └── ...
│       └── values.yaml
├── docs/
│   ├── README.md
│   └── ...
├── scripts/
│   ├── setup.sh
│   └── ...
├── LICENSE
├── README.md
└── ...

目录介绍

• charts/: 包含 Helm 图表，用于在 Kubernetes 集群中部署 Triton Inference Server。
  • triton/: Triton 的 Helm 图表。
    • Chart.yaml: 图表的元数据文件。
    • templates/: 包含 Kubernetes 资源配置文件模板。
      • deployment.yaml: Triton Inference Server 的部署配置。
      • service.yaml: Triton Inference Server 的服务配置。
    • values.yaml: 图表的默认配置值。
• docs/: 包含项目的文档文件。
  • README.md: 项目的主要说明文档。
• scripts/: 包含用于设置和管理的脚本。
  • setup.sh: 用于初始化环境的脚本。
• LICENSE: 项目的许可证文件。
• README.md: 项目的主 README 文件。

项目的启动文件介绍

项目的启动文件主要位于 charts/triton/templates/ 目录下，其中最重要的是 deployment.yaml 和 service.yaml。

deployment.yaml

deployment.yaml 文件定义了 Triton Inference Server 的部署配置，包括容器镜像、端口、环境变量等。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: triton-server
spec:
  replicas: 3
  selector:
    matchLabels:
      app: triton-server
  template:
    metadata:
      labels:
        app: triton-server
    spec:
      containers:
        - name: triton-server
          image: nvcr.io/nvidia/tritonserver:20.12-py3
          ports:
            - containerPort: 8000
            - containerPort: 8001
            - containerPort: 8002

service.yaml

service.yaml 文件定义了 Triton Inference Server 的服务配置，用于暴露服务端口。

apiVersion: v1
kind: Service
metadata:
  name: triton-server
spec:
  selector:
    app: triton-server
  ports:
    - protocol: TCP
      port: 8000
      targetPort: 8000
    - protocol: TCP
      port: 8001
      targetPort: 8001
    - protocol: TCP
      port: 8002
      targetPort: 8002
  type: LoadBalancer

项目的配置文件介绍

项目的配置文件主要位于 charts/triton/ 目录下，其中最重要的是 values.yaml。

values.yaml

values.yaml 文件包含了 Helm 图表的默认配置值，可以在这里修改部署的参数，如镜像版本、副本数量、资源限制等。

replicaCount: 3

image:
  repository: nvcr.io/nvidia/tritonserver
  tag: 20.12-py3
  pullPolicy: IfNotPresent

service:
  type: LoadBalancer
  port: 8000
  grpcPort: 8001
  metricsPort: 8002

resources:
  limits:
    cpu: "1"
    memory: "2Gi"
  requests:
    cpu: "500m"
    memory: "1Gi"

通过修改 values.yaml 文件，可以自定义 Triton Inference Server 的部署配置。

triton-kubernetesKubernetes on Triton项目地址:https://gitcode.com/gh_mirrors/tr/triton-kubernetes