linux下通过Ollam部署deepseekR1遇到无法实现多显卡/GPU负载均衡问题

尝试很多教程中的命令后仍无法实现，后续在此网址发现自己修改ollama.service文件时少复制了一行参数  。网址如下：ollama部署deepseek, 多显卡负载均衡 - ForLivetoLearn - 博客园

尝试以下方法

1. Environment="CUDAVISIBLEDEVICES=0,1,2,3"

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

1. export CUDAVISIBLEDEVICES=0,1,2,3

多种尝试后仍无法同时使用四块GPU

命令 sudo nano /etc/systemd/system/ollama.service 打开 ollama.service 文件

在

Environment="OLLAMASCHEDSPREAD=1"

Environment="OLLAMAKEEPALIVE=-1"

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

前边加上 Environment="CUDAVISIBLEDEVICES=0,1,2,3"

实现多显卡负载均衡

注释：ollama.service：这是一个特定的服务单元文件名称。在 Systemd 中，每个服务通常对应一个 .service 文件，里面包含服务的启动命令、环境变量、依赖关系等配置。

sudo nano /etc/systemd/system/ollama.service
sudo systemctl daemon-reload
sudo systemctl start ollama.service