GPUStack安装与配置指南

GPUStack安装与配置指南

gpustack Manage GPU clusters for running AI models 项目地址: https://gitcode.com/gh_mirrors/gp/gpustack

1. 项目基础介绍

GPUStack 是一个开源的 GPU 集群管理器，用于运行 AI 模型。它支持广泛的硬件和模型，能够根据 GPU 库存进行扩展，提供分布式推理功能，并且拥有轻量级的 Python 包。GPUStack 提供了与 OpenAI 兼容的 API，同时具备用户和 API 密钥管理、GPU 指标监控以及令牌使用和速率管理等特性。

主要编程语言：Python

2. 项目使用的关键技术和框架

• Docker：用于容器化应用，简化部署和扩展。
• Systemd/Launchd：在 Linux 和 macOS 系统中用于作为服务管理 GPUStack。
• NVIDIA CUDA：用于在支持 CUDA 的 NVIDIA GPU 上加速计算。
• AMD ROCm：用于在 AMD GPU 上加速计算。
• Ascend CANN：用于在华为 Ascend GPU 上加速计算。
• llama-box：包含 llama.cpp 和 stable-diffusion.cpp 服务器，用于支持多种 AI 模型。
• vLLM：作为推理后端，支持大型语言模型。
• vox-box：作为推理后端，用于支持多种 AI 模型。

3. 项目安装和配置的准备工作

在开始安装 GPUStack 之前，请确保您的系统满足以下要求：

• 操作系统：支持 macOS、Linux 或 Windows。
• Python：建议使用 Python 3.8 或更高版本。
• Docker：确保已经安装 Docker 并且配置正确。
• 网络：确保您的系统可以访问互联网，以便下载必要的依赖和模型。

详细安装步骤

步骤 1：安装依赖

对于 Linux 或 macOS，可以使用以下命令安装依赖：

# 安装 Docker（如果尚未安装）
# 请根据您的操作系统和版本按照官方文档进行安装

# 安装 Python 和其他依赖
sudo apt-get update
sudo apt-get install python3-pip
pip3 install gpustack

对于 Windows，请按照以下步骤操作：

1. 安装 Docker Desktop。
2. 打开 PowerShell 作为管理员，并运行以下命令安装 GPUStack：

Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content

步骤 2：配置 GPUStack

安装完成后，您需要配置 GPUStack。对于 Linux 或 macOS，可以使用以下命令：

# 生成默认配置文件
gpustack setup

# 根据需要编辑配置文件，通常位于 /etc/gpustack/config.yaml

对于 Windows，您可以通过 PowerShell 编辑配置文件：

# 编辑配置文件，通常位于 $env:APPDATA\gpustack\config.yaml
notepad $env:APPDATA\gpustack\config.yaml

确保在配置文件中正确设置了所有必要的参数，如监听端口、GPU 配置等。

步骤 3：启动 GPUStack 服务

对于 Linux 或 macOS，您可以使用以下命令启动服务：

# 启动 GPUStack 服务
sudo systemctl start gpustack

对于 Windows，您可以通过 PowerShell 启动服务：

# 启动 GPUStack 服务
Start-Service gpustack

步骤 4：访问 GPUStack UI

安装并启动服务后，您可以通过浏览器访问 http://localhost:8080（或者您在配置文件中设置的端口），使用默认的用户名和密码（通常是 admin）登录到 GPUStack UI。

完成以上步骤后，您就可以开始在 GPUStack 中部署和管理 AI 模型了。

gpustack Manage GPU clusters for running AI models 项目地址: https://gitcode.com/gh_mirrors/gp/gpustack