Windows 10 安装 DockerDesktop+Ollama 3 + open webui

一直想在Windows上安装好Ollama3，smile-yan看了挺多安装文章，还是很多坑，花了挺多的时间与精力，  smile-yan写的文章挺不错，但是跟我环境还是不太一样，重新整理了一下。

1. 环境准备与整体过程概述

1.1 环境准备
由于篇幅原因，这里假设大家已经安装好如下基础环境：

• windows 10 / 11 操作系统（64位）；
• docker-desktop 最新版（为了避免一些没必要遇到的坑，请尽量保持能更新到最新版）。
• WSL 2， 确保勾选Hyper-V、虚拟机平台、Linux子系统， 安装与设置也比较简单，请自行安装好这个环境；
• 在windows 系统中，安装好 NVIDIA 驱动，就是普通的那种驱动即可，通过此驱动可以配置分辨率等等。

重要补充：本博文仅仅介绍安装好 nvidia 30系列 与 40系列显卡的个人电脑。

• 如果个人电脑未安装显卡，无法完成以下介绍的各个步骤；但是基于 CPU 也同样可以部署，方法简单，不在此文介绍范围内；
• 如果个人电脑安装的不是 nvidia 显卡或者显卡的版本不在30系列与40系列内，不在本文讨论范围内。

1.2 步骤概述

1. 基于 WSL2 安装子系统，安装好 Ubuntu 子系统；
2. 在子系统 WSL2 中安装好 Nvidia 驱动；
3. 配置windows下的 docker-desktop，让 WSL2 作为 docker 的 backend；
4. 重启一下设备，确保 WSL2 与 windows 下的 docker 已经连通无误；
5. 安装镜像，验证docker镜像能通过WSL2以及WSL2下安装的驱动，使用显卡；
6. 安装 Ollama3 + open webui 的 docker 镜像，验证可以正常使用；
7. 基于 open webui 安装 Ollama3 模型，验证可以正常使用GPU。
8. 重启一下验证无误，万事大吉 ！

温馨提示： 整个过程可能遇到类似于网络超级慢，安装过程突然中断，安装docker镜像时PULL时间超级漫长等等问题。请务必耐心处理一个一个问题。

1.3 安装Docker Desktop

官网下载地址：https://www.docker.com/

如果有问题可以参考这个

windows安装Docker Desktop及国内镜像_docker desktop 国内镜像-CSDN博客

2. 安装子系统以及子系统下的显卡驱动
2.1 验证 WSL2 安装无误
打开 windows 的命令行，输入如下命令：

 wsl --version

请确保 WSL 版本 >= 2.x 。

2.2 安装子系统 ubuntu
这个地方需要注意，有可能docker安装了子系统（识别到 wsl 环境可能会默认安装子系统），如图所示：

这样我们可以使用已经安装好的子系统，也可以考虑使用自己安装的 ubuntu 系统。

输入以下命令安装子系统：

wsl --update

接着输入

wsl --install

验证过程

 wsl --list

使用ubuntu系统

在自己的windows 系统下找到 ubuntu 系统，双击后会进入一个命令行窗口

2.3 安装显卡驱动（离线安装包的方法）
特别要注意，我们不要在子系统中安装 docker ，切记切记
参考地址：https://docs.nvidia.com/cuda/wsl-user-guide/index.html

请在 WSL2 命令行中，输入如下命令，删除已有的一些库文件：

sudo apt-key del 7fa2af80

 

• 找资源

https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=runfile_local

• 安装gcc

sudo apt-get install gcc -y

安装不成功，更改为阿里镜像源

ubuntu镜像_ubuntu下载地址_ubuntu安装教程-阿里巴巴开源镜像站

• 安装CUDA

wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda_12.6.0_560.28.03_linux.run
sudo sh cuda_12.6.0_560.28.03_linux.run

如果不行，可以下在下 windows 系统浏览器下载离线驱动包
由于我多次尝试，发现网络问题使用在线安装很容易很容易报错（我是真的真的没成功过），所以这里我们使用离线安装的方法。

首先 使用自己的windows系统下的浏览器，访问 nvidia 官网驱动下载地址：https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=runfile_local

执行以后，如果你遇到错误提示如下：

可能要等很久。。

如果这样此时已经证明我们安装驱动完成 。

2.4 配置环境变量
编辑 WSL2 的 ~/.bashrc 添加环境变量就像安装完驱动控制台输出内容一样（官方的建议）

我们使用 vi 命令编辑 .bashrc 文件，写入环境变量如下：

export PATH=/usr/local/cuda-12.5/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.5/lib64:$LD_LIBRARY_PATH

vi 的命令不熟悉，可以使用 vim 等等其他命令。

最后一个步骤是我们需要激活环境变量：

source ~/.bashrc

验证方法

输入

echo $LD_LIBRARY_PATH

将会打印我们上面配置的环境变量地址。

输入 nvidia-smi

nvidia-smi

会输出显卡的相关信息

输入 nvcc -V

nvcc -V

会输出 nvidia cuda 驱动相关信息

三个过程请都验证一下，避免以后出现乱七八遭的问题

2.5 配置 docker-desktop 与 WSL2 密切绑定
配置方法比较简单，请参考如下截图：

配置完成以后，一般情况下 windows下的docker 会重新启动，确保重启正常完成。

2.6 基于docker 安装 cuda-sample 验证 cuda 可用
之所以不直接安装 open webui ，是因为代价有点大，如果docker镜像不能正常访问GPU，那么添加 open webui 过程太浪费时间了。

在 WSL2 命令行中，输入内容如下：

sudo docker run --gpus all nvcr.io/nvidia/k8s/cuda-sample:nbody nbody -gpu -benchmark

安装完成以后，我们需要注意，在windows 的 docker-desktop 中查看启动日志。

请特别注意，日志中包括 CUDA 的相关内容，足够证明 docker 镜像中能使用 CUDA，也就是能使用GPU。

2.7 安装 open webui + ollama3
这里我们不分别安装两次了，我们使用官方提供了的方法，一个镜像包括了 open webui 与 ollama3，更加方便。

在 WSL2 的命令行中输入如下命令：

sudo docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

这是一个比较漫长的过程，我家千兆的带宽速度还可以，几分钟下载完成。

成功安装完成以后，我们前去查看 docker 的容器启动日志：

我们可以看到日志中提示 CUDA 可用，说明一切正常，安装成功。

使用浏览器访问本地的 3000 端口，可以看到内容如下，

注册一个账号，非常简单，没有什么限制，注册登录后，通过设置可以使用中文，

2.8 添加模型与选择模型

点击 管理员设置 以后，找到 模型 ，输入模型的编号即可自动下载模型。

这里以 qwen2 为例

下载的过程比较漫长，网速要快。

接着回到主界面，我们可以下拉 “选择一个模型”，如下图所示（我总共下载了2个模型）

接着就可以正常聊天了 ~

2.9 验证大模型推断过程是基于GPU完成
在 windows 下，使用快捷键 Ctrl + Shift + Esc ，弹出如下 任务管理器窗口，接着选择左边导航栏中的 性能 可以看到如下内容：

接着我们在 open webui 中输入一个相对复杂的对话，让大模型推断时间久一些，然后同时观察 刚刚打开的窗口中 GPU 的变化情况。

2.10 验证重启后，模型依然存在
重启一下我们的个人电脑，重新启动我们前面创建的 container ，可以看到模型依然存在，之前完成的内容并不会因此而失效。

3. 参考资料
https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=runfile_local
https://docs.nvidia.com/cuda/wsl-user-guide/index.html
https://github.com/open-webui/open-webui/tree/main

4. 总结
本文记录了自己安装部署 Ollama3 + open webui 并基于GPU推断的整个过程，由于篇幅问题，没有办法将所有我遇到的问题都记录下来，但可以基本确定的是，按照如上步骤完成部署安装，一般情况下是可以正常运行的。
                        
感谢原文链接：https://blog.csdn.net/smileyan9/article/details/140391667