随着人工智能技术的飞速发展,越来越多的企业和开发者开始探索如何将 AI 模型部署到生产环境中。Ollama 作为一个轻量级的 AI 模型管理工具,为开发者提供了一个简单而强大的解决方案。本文将详细介绍如何在 Windows Server 2016 上部署 Ollama,并运行 DeepSeek R1模型。此外,我们还将介绍如何使用 Chrome 插件 Page Assist 通过 Web UI 与模型进行对话
1. 为什么选择 Ollama?
Ollama 是一个开源的 AI 模型管理工具,支持多种大型语言模型(LLM)的部署和管理。它具有以下特点:
轻量级:Ollama 的资源占用较低,适合在各种服务器环境中运行。
易于使用:通过简单的命令行操作,即可完成模型的下载和运行。
多模型支持:支持多种流行的 AI 模型,如 DeepSeek、Llama 等。
本地部署:支持在本地服务器上运行,无需依赖外部云服务。
2. 环境准备
在开始部署之前,确保你的 Windows Server 2016 系统满足以下条件:
硬件配置:建议使用至少 16GB 内存和 NVIDIA RTX 4090 或更高配置的 GPU。
软件环境:确保系统已安装最新版本的 Windows Server 2016,并更新所有系统补丁。
3. 安装 Ollama
3.1 下载 Ollama
访问 Ollama 官方网站ollama下载,下载 Windows 版本的安装包。如果无法直接下载,也可以从 Ollama 的 GitHub 仓库获取安装文件:
github下载。
3.2 安装 Ollama
双击下载的 OllamaSetup.exe 文件,按照安装向导的提示完成安装。如果需要指定安装路径(例如安装到 D 盘),可以通过命令行安装:
OllamaSetup.exe /DIR="D:\Ollama"
3.3 验证安装
打开命令提示符,运行以下命令验证 Ollama 是否安装成功:
ollama --version
如果返回 Ollama 的版本号(如 ollama version 0.1.x),则说明安装成功。
4. 配置 Ollama
4.1 修改模型存储路径
默认情况下,Ollama 的模型存储在 C:\Users<用户名>.ollama\models。如果需要修改存储路径,可以在系统环境变量中添加 OLLAMA_MODELS:
打开“系统属性” > “环境变量”。
在“用户变量”中点击“新建”,变量名为 OLLAMA_MODELS,变量值为新的存储路径(如 D:\Ollama\Models)。
4.2 启动 Ollama 服务
在命令提示符中运行以下命令启动 Ollama 服务:
ollama serve
默认是127.0.0.1只允许本机访问,如果想外部电脑访问,执行
set OLLAMA_HOST=0.0.0.0:11434
ollama serve
默认情况下,Ollama 服务运行在 http://localhost:11434
5. 下载并运行 DeepSeek R1 32B 模型
5.1 拉取模型
在命令提示符中运行以下命令拉取 DeepSeek R1 32B 模型:
ollama pull deepseek-r1:32b
根据自己电脑配置自定义安装模型版本
该模型需要较高的硬件配置(如 NVIDIA RTX 4090 24GB GPU)。下载过程可能需要较长时间,请确保网络连接稳定。
5.2 运行模型
模型下载完成后,运行以下命令启动模型:
ollama run deepseek-r1:32b
##多个模型最后指定对应的模型名称
首次运行时,Ollama 会加载模型并启动交互界面。
查看ollama模型列表
ollama list
5.3 测试模型
在交互界面中输入问题,例如:
你好,DeepSeek 能做什么?
模型会回复类似:“你好!我可以回答问题、生成文本、帮助编程等。有什么我可以帮你的?”。
6. 使用 Chrome 插件 Page Assist 访问模型
6.1 安装 Page Assist
Page Assist 是一款开源的浏览器扩展程序,为本地 AI 模型提供直观的交互界面。你可以通过以下方式安装:
访问 Chrome Web Store,搜索 Page Assist:
直接点击扩展链接:PageAssist扩展链接
点击“添加到 Chrome”按钮完成安装。
6.2 配置 Page Assist
安装完成后,通过以下步骤配置 Page Assist:
打开 Chrome 浏览器,点击右上角的扩展图标,找到 Page Assist。
点击扩展图标,打开设置页面。
在设置页面中,选择“API 设置”,配置与 Ollama 的连接:
输入 Ollama 服务的地址(如 http://localhost:11434)。
选择 DeepSeek R1 32B 模型。
保存设置后,刷新页面。
如是访问外部服务,需勾选Ollama URL 高级配置
6.3 使用 Web UI 与模型对话
配置完成后,你可以通过 Page Assist 的 Web UI 与 DeepSeek R1 32B 模型进行对话:
点击扩展图标,选择“打开 Web UI”。