windows下open webui+ollama+sd webui

原文:https://wangguo.site/Blog/2024/Q2/2024-06-14/

说明:安装使用环境是在Windows下

1、给ollama一个好看的交互界面(open webui)

1.1、ollama安装

  • 安装:在ollama官网下载windows版本进行安装
  • 模型列表:支持的模型列表可以在ollama模型仓库查看
    在这里插入图片描述
  • 模型下载:使用ollama pull 模型名称下载模型
    如:ollama pull llama3
  • 模型使用
    • 终端使用:使用ollama run 模型名称即可使用
      如:ollama run llama3
    • api使用ÿ
### 配置 Docker、OllamaOpenWebUI 的运行环境 #### 准备工作 确保 Windows 系统满足最低硬件和软件需求。对于 Docker Desktop,建议使用支持 Hyper-V 或 WSL 2 (Windows Subsystem for Linux 2) 的 Windows 版本[^1]。 #### 安装 Docker Desktop 下载并安装适用于 Windows 的 Docker Desktop。启动应用程序后,按照提示完成设置向导。为了使容器能够访问 GPU 资源,在 Docker 设置中的资源选项里启用 WSL 2 后端以及 CUDA 支持功能。 #### 安装 Ollama 在成功部署好 Docker 环境之后,继续安装 Ollama 组件。这通常涉及到拉取特定版本的 Ollama 镜像到本地机器上,并确保该镜像可以正确识别并利用系统的 GPU 加速能力。在此之前先验证 CUDA 是否可用是一个明智的选择,可以通过安装 `cuda-samples` 并测试来确认这一点[^2]。 #### 测试 CUDA 可用性 创建一个新的 Dockerfile 文件用于构建带有 CUDA 工具包的基础映像: ```dockerfile FROM nvidia/cuda:11.7-base RUN apt-get update && \ apt-get install -y --no-install-recommends \ cuda-samples-11-7 && \ rm -rf /var/lib/apt/lists/* CMD ["bash"] ``` 接着执行命令以建立此自定义映像并与之交互: ```shell docker build -t custom-cuda-test . docker run --gpus all -it custom-cuda-test bash cd /usr/local/cuda/samples/1_Utilities/deviceQuery/ make ./deviceQuery ``` 上述操作完成后应该能看到有关设备的信息输出,证明CUDA已经成功配置并且能被Docker容器所调用。 #### 部署 OpenWebUI 一旦确认了 Docker 和 Ollama 正常运作且具备必要的 GPU 访问权限,则可着手准备加载包含 DeepSeek-V3 模型在内的 OpenWebUI 应用程序。具体做法是从官方仓库获取最新的 OpenWebUI 映像文件,并指定所需的参数启动服务实例。由于直接集成可能较为复杂耗时,因此推荐事先查阅相关文档了解具体的依赖关系及最佳实践指南。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值