ollama+open-webui本地部署deepseek（单机多卡、自定义模型路径）

一、ollama安装部署deepseek

1.本地windows部署参考

按照链接[1]进行安装

2. 离线服务器安装（linux）

命令行安装：参考
离线包安装：参考
(tar -C /usr -xzf ollama-linux-amd64.tgz)

二、open-webui安装

1.docker版本安装：

参考1、参考2、

2.pip安装

windows安装docker有点麻烦，直接基于pip安装

# 1
conda create -n open-webui python==3.11
# 2
pip install open-webui
# 3
open-webui serve  # open-webui serve --port 8080

三、Linux 系统上单机多卡部署deepseek

1.按照以上链接安装ollama、open-webui

2. 启动服务

新建以下脚本文件（自定义命名，此处命名ollama.sh）
自定义ollama模型路径、单机多卡启动ollama
（注意ollama安装路径，我的安装路径在/usr/bin/ollama下，不同系统可能会有所不同）

#!/bin/bash

# 设置环境变量
export PATH=$PATH
export OLLAMA_HOST=0.0.0.0
export OLLAMA_MODELS=/root/data/deepseek-v3-r1/all/models  #自定义路径，根据实际情况修改
export CUDA_VISIBLE_DEVICES=0,1,2,3  # gpu指定，这里用了4卡

# 以指定用户和组运行 Ollama 服务
# runuser -l ollama -c "/usr/bin/ollama serve"
# -u ollama -g ollama nohup /usr/bin/ollama serve > /var/log/ollama.log 2>&1 &
nohup /usr/bin/ollama serve > /var/log/ollama.log 2>&1 &  #注意此处ollama安装路径

运行bash文件

bash ollama.sh

启动open-webui

open-webui serve

参考资料：
[1] ollama+open-webui安装：https://zhuanlan.zhihu.com/p/20924220892?utm_medium=social&utm_psn=1870425343153811456&utm_source=wechat_session
[2] 本地知识库（ollama+open-webui）：https://blog.csdn.net/qq_55068938/article/details/140526935?fromshare=blogdetail&sharetype=blogdetail&sharerId=140526935&sharerefer=PC&sharesource=&sharefrom=from_link