- 博客(3)
- 收藏
- 关注
RSS订阅原创 在 8x 1080Ti 服务器上使用Ollama部署 Qwen 大模型使用Open WebUI作为前端界面
Ollama 基于 llama.cpp，能够很好地在 Pascal 架构（1080 Ti）上运行，并且支持自动将大模型切分到多张显卡上。，您应该能看到多张显卡都有显存占用，说明 Ollama 成功进行了自动分层（Layer Offloading）。（如果 Qwen 3 已发布，操作逻辑完全一致）。无论使用 Ollama 还是 vLLM，部署后都可以通过兼容 OpenAI 格式的 API 进行调用。在模型运行时，在宿主机新开一个终端输入。如果慢，可以在命令前加代理环境变量。目前 Qwen 最新稳定版为。
2025-12-21 16:35:31
599
2
原创 多显卡服务器环境配置：Docker + NVIDIA Toolkit 批量部署 GPU 容器全指南
在多显卡（如 8 张 GTX 1080 Ti）环境下，如何快速、稳健地为不同用户分配独立的开发环境？本文整理了一套从驱动检查到容器批量部署的完整流程，并针对国内网络环境提供了有效的加速方案。
2025-12-21 14:18:21
391
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人