一直想在Windows上安装好Ollama3,smile-yan看了挺多安装文章,还是很多坑,花了挺多的时间与精力, smile-yan写的文章挺不错,但是跟我环境还是不太一样,重新整理了一下。
- 环境准备与整体过程概述
1.1 环境准备
由于篇幅原因,这里假设大家已经安装好如下基础环境:
- windows 10 / 11 操作系统(64位);
- docker-desktop 最新版(为了避免一些没必要遇到的坑,请尽量保持能更新到最新版)。
- WSL 2, 确保勾选Hyper-V、虚拟机平台、Linux子系统, 安装与设置也比较简单,请自行安装好这个环境;
- 在windows 系统中,安装好 NVIDIA 驱动,就是普通的那种驱动即可,通过此驱动可以配置分辨率等等。
重要补充:本博文仅仅介绍安装好 nvidia 30系列 与 40系列显卡的个人电脑。
- 如果个人电脑未安装显卡,无法完成以下介绍的各个步骤;但是基于 CPU 也同样可以部署,方法简单,不在此文介绍范围内;
- 如果个人电脑安装的不是 nvidia 显卡或者显卡的版本不在30系列与40系列内,不在本文讨论范围内。
1.2 步骤概述
- 基于 WSL2 安装子系统,安装好 Ubuntu 子系统;
- 在子系统 WSL2 中安装好 Nvidia 驱动;
- 配置windows下的 docker-desktop,让 WSL2 作为 docker 的 backend;
- 重启一下设备,确保 WSL2 与 windows 下的 docker 已经连通无误;
- 安装镜像,验证docker镜像能通过WSL2以及WSL2下安装的驱动,使用显卡;
- 安装 Ollama3 + open webui 的 docker 镜像,验证可以正常使用;
- 基于 open webui 安装 Ollama3 模型,验证可以正常使用GPU。
- 重启一下验证无误,万事大吉 !
温馨提示: 整个过程可能遇到类似于网络超级慢,安装过程突然中断,安装docker镜像时PULL时间超级漫长等等问题。请务必耐心处理一个一个问题。
1.3 安装Docker Desktop
官网下载地址:https://www.docker.com/
如果有问题可以参考这个