weixin_51485329的博客

原创 Ubuntu 多显卡部署 Ollama （基于 Docker）

镜像网站： https://docker.aityp.com/image/docker.io/ollama/ollama:latest。Environment=“OLLAMA_NUM_GPU=5” # 强制使用 5 张 GPU 分配模型层 根据实际情况修改。Environment=“OLLAMA_KEEP_ALIVE=-1” # 模型常驻显存，避免重复加载。持久化数据卷，名字为 ollama，挂载到容器内 /root/test(提前创建)五、启动 Ollama Docker 容器。启用多卡负载均衡调度。