本教程主要介绍了如何通过简洁的步骤,在本地搭建强大的 AI 模型环境,运行 DeepSeek-R1 并通过 Open-WebUI 进行直观交互。
文章目录
前言
随着 AI 领域的快速发展,越来越多的开源大模型正在支持本地运行。其优势在于 隐私保护、无需依赖云端、响应速度快
Ollama 是一款强大的工具,它提供了简洁的接口,让用户能够在本地高效运行各种开源大模型,如 DeepSeek-R1。
本教程将详细介绍 Ollama 的安装、DeepSeek-R1 模型的本地部署,以及如何结合 Open-WebUI 进行可视化交互。通过本文,你将学会:
- 如何在本地安装和配置 Ollama,为运行大模型提供便捷的工具和环境。
- 如何下载并运行 DeepSeek-R1 模型,体验强大的 AI 推理能力。
- 如何通过 Open-WebUI 实现 Web 端交互,提供直观、易用的可视化操作界面。
让你无需依赖云端,轻松体验高效的本地 AI 模型运行与智能对话。
想要无需云端,轻松在本地搭建属于自己的 AI 大模型环境吗?本文将手把手教你实现!
一、安装ollama
1.1 下载安装Ollama
Ollama 是一个高效的 AI 模型管理工具,它支持在 Windows、macOS 和 Linux 上本地运行多种大模型如 DeepSeek-R1,并提供简洁的命令行接口。本教程详细介绍 Ollama 的下载、安装、环境配置,以及如何在终端运行 DeepSeek-R1 模型。
官网下载与安装
下载好安装包,运行安装程序,引导界面直接 install,按照安装向导的指示完成安装
基础命令与教程
- 在 菜鸟教程 有ollama相关详细基础教程
- 有关 webui的安装和使用 可参考 Ollama Open WebUI
1.2 自定义模型存储路径(可选)
Ollama 默认将模型存储在 C:\Users\你的用户名\.ollama\models(Windows)或 ~/.ollama/models(macOS/Linux)
设置方法:
右键 “此电脑” → 属性 → 高级系统设置 → 环境变量
右下角,进入高级系统设置
进入环境变量
创建用户变量,点击“新建”
如图,自行选择下载路径
- 变量名:OLLAMA_MODELS
- 变量值:D:\Ollama\Models(你想存储的路径)
二、本地部署 DeepSeek-R1
2.1. 在 Ollama 上下载 DeepSeek-R1
- 访问 Ollama模型库: DeepSeek-R1 模型页面 找到左上角 Model
- 选择合适内存的模型(图中选择7b)
- 复制该模型的命令并在终端中粘贴运行:
ollama run deepseek-r1:7b //选择 7b 模型
打开终端 (Window键+R,输入cmd),确定
粘贴刚才复制好的命令,等待下载完成
4. 看到success,即为完成
验证安装:
输入ollama --version
命令
输出如下:
2.2 运行模型并进行验证
- 在终端输入下面命令来启动 DeepSeek-R1 模型
ollama run deepseek-r1
- 模型的文本交互界面如下,可以输入问题与AI直接对话,例如 向AI提问"你是谁"
三、Open-WebUI 安装与使用
Open-WebUI 是一个 Web 界面工具,帮助你以图形化方式与本地运行的 AI 模型进行交互。
3.1 通过 pip 安装 Open-WebUI
下载python后,使用pip install open-webui '
命令 在终端安装 open-webui
检查是否成功下载
pip show onnxruntime
返回以下信息,说明已经安装
安装完成后,输入以下命令启动 Web 服务:
open-webui serve
遇到报错:
报错内容:ValueError: The onnxruntime python package is not installed. Please install it with pip install onnxruntime
根据提示安装 onnxruntime:
pip install onnxruntime
若仍然报错,可以安装 C++ Build Tools 来支持运行 onnxruntime,或检查 Python 版本与 onnxruntime 版本的兼容性。
1.onnxruntime库需要C++来支持运行
需要下载C++ Build Tools
检查 Visual C++ Redistributable 是否安装
通过控制面板查看:
按下 Win + R,输入 appwiz.cpl,回车打开 程序和功能。
在列表中找到 Microsoft Visual C++ 2015-2022 Redistributable。
如果版本号是 14.30 或更高(例如 14.38.33135.0),则已安装。
若没有,需从官网下载安装
下载地址: https://aka.ms/vs/17/release/vc_redist.x64.exe
根据系统架构(64位或32位)下载对应的安装包:
64位系统:vc_redist.x64.exe
32位系统:vc_redist.x86.exe
2. Python与onnxruntime版本不兼容 导致
检查Python版本与onnxruntime的兼容性 参考官方兼容性表
# 卸载当前版本
pip uninstall onnxruntime -y
# 安装支持Python 3.12的最新版本(截至2024年7月,最新为1.17.3)
pip install onnxruntime==1.17.3 --no-cache-dir
还可以选择通过 Docker 部署 Open-WebUI,具体步骤可以参考官方文档。
3.2 启动 Open-WebUI
安装完成后,在终端输入以下命令启动服务
open-webui serve
来到如下界面,即为成功
打开浏览器,访问地址 http://localhost:8080。
首次访问时,你需要注册账号,默认情况下,第一个账号为管理员权限。
总结
本教程介绍了 Ollama 的安装、DeepSeek-R1 本地运行 及 Open-WebUI 交互
- 如何安装 Ollama 并配置基本环境
- 如何下载并运行 DeepSeek-R1,并自定义模型存储路径
- 如何安装并使用 Open-WebUI 提供图形化交互
- 解决常见问题(如 onnxruntime 报错、环境变量配置等)