Windows 10 安装 DockerDesktop+Ollama 3 + open webui

一直想在Windows上安装好Ollama3,smile-yan看了挺多安装文章,还是很多坑,花了挺多的时间与精力,  smile-yan写的文章挺不错,但是跟我环境还是不太一样,重新整理了一下。

  1. 环境准备与整体过程概述

1.1 环境准备
由于篇幅原因,这里假设大家已经安装好如下基础环境:

  • windows 10 / 11 操作系统(64位);
  • docker-desktop 最新版(为了避免一些没必要遇到的坑,请尽量保持能更新到最新版)。
  • WSL 2, 确保勾选Hyper-V、虚拟机平台、Linux子系统, 安装与设置也比较简单,请自行安装好这个环境;
  • 在windows 系统中,安装好 NVIDIA 驱动,就是普通的那种驱动即可,通过此驱动可以配置分辨率等等。

重要补充:本博文仅仅介绍安装好 nvidia 30系列 与 40系列显卡的个人电脑。

  • 如果个人电脑未安装显卡,无法完成以下介绍的各个步骤;但是基于 CPU 也同样可以部署,方法简单,不在此文介绍范围内;
  • 如果个人电脑安装的不是 nvidia 显卡或者显卡的版本不在30系列与40系列内,不在本文讨论范围内。

1.2 步骤概述

  1. 基于 WSL2 安装子系统,安装好 Ubuntu 子系统;
  2. 在子系统 WSL2 中安装好 Nvidia 驱动;
  3. 配置windows下的 docker-desktop,让 WSL2 作为 docker 的 backend;
  4. 重启一下设备,确保 WSL2 与 windows 下的 docker 已经连通无误;
  5. 安装镜像,验证docker镜像能通过WSL2以及WSL2下安装的驱动,使用显卡;
  6. 安装 Ollama3 + open webui 的 docker 镜像,验证可以正常使用;
  7. 基于 open webui 安装 Ollama3 模型,验证可以正常使用GPU。
  8. 重启一下验证无误,万事大吉 !

温馨提示: 整个过程可能遇到类似于网络超级慢,安装过程突然中断,安装docker镜像时PULL时间超级漫长等等问题。请务必耐心处理一个一个问题。

1.3 安装Docker Desktop

官网下载地址:https://www.docker.com/

如果有问题可以参考这个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值