开源 GPU 集群管理器 GPUStack 轻松拉起deepseek各版本模型

GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。
项目地址：gpustack/gpustack: Manage GPU clusters for running AI modelshttps://github.com/gpustack/gpustackhttps://github.com/gpustack/gpustackhttps://github.com/gpustack/gpustackhttps://github.com/gpustack/gpustack

核心特性

• 广泛的硬件兼容性：支持管理 Apple Mac、Windows PC 和 Linux 服务器上不同品牌的 GPU。
• 广泛的模型支持：从大语言模型 LLM、多模态模型 VLM 到 Diffusion 扩散模型、STT 与 TTS 语音模型、文本嵌入和重排序模型的广泛支持。
• 异构 GPU 支持与扩展：轻松添加异构 GPU 资源，按需扩展算力规模。
• 分布式推理：支持单机多卡并行和多机多卡并行推理。
• 多推理后端支持：支持 llama-box（基于 llama.cpp 和 stable-diffusion.cpp）、vox-box 和 vLLM 作为推理后端。
• 轻量级 Python 包：最小的依赖和操作开销。
• OpenAI 兼容 API：提供兼容 OpenAI 标准的 API 服务。
• 用户和 API 密钥管理：简化用户和 API 密钥的管理流程。
• GPU 指标监控：实时监控 GPU 性能和利