在 Windows Server 2016 上部署 Ollama 和 DeepSeek-r1模型及使用 Chrome 插件 Page Assist 实现 Web UI 对话

随着人工智能技术的飞速发展,越来越多的企业和开发者开始探索如何将 AI 模型部署到生产环境中。Ollama 作为一个轻量级的 AI 模型管理工具,为开发者提供了一个简单而强大的解决方案。本文将详细介绍如何在 Windows Server 2016 上部署 Ollama,并运行 DeepSeek R1模型。此外,我们还将介绍如何使用 Chrome 插件 Page Assist 通过 Web UI 与模型进行对话

1. 为什么选择 Ollama?

Ollama 是一个开源的 AI 模型管理工具,支持多种大型语言模型(LLM)的部署和管理。它具有以下特点:
轻量级:Ollama 的资源占用较低,适合在各种服务器环境中运行。
易于使用:通过简单的命令行操作,即可完成模型的下载和运行。
多模型支持:支持多种流行的 AI 模型,如 DeepSeek、Llama 等。
本地部署:支持在本地服务器上运行,无需依赖外部云服务。

2. 环境准备

在开始部署之前,确保你的 Windows Server 2016 系统满足以下条件:
硬件配置:建议使用至少 16GB 内存和 NVIDIA RTX 4090 或更高配置的 GPU。
软件环境:确保系统已安装最新版本的 Windows Server 2016,并更新所有系统补丁。

3. 安装 Ollama

3.1 下载 Ollama
访问 Ollama 官方网站ollama下载,下载 Windows 版本的安装包。如果无法直接下载,也可以从 Ollama 的 GitHub 仓库获取安装文件:
github下载
在这里插入图片描述

3.2 安装 Ollama
双击下载的 OllamaSetup.exe 文件,按照安装向导的提示完成安装。如果需要指定安装路径(例如安装到 D 盘),可以通过命令行安装:

OllamaSetup.exe /DIR="D:\Ollama"

3.3 验证安装
打开命令提示符,运行以下命令验证 Ollama 是否安装成功:

ollama --version

如果返回 Ollama 的版本号(如 ollama version 0.1.x),则说明安装成功。

4. 配置 Ollama

4.1 修改模型存储路径
默认情况下,Ollama 的模型存储在 C:\Users<用户名>.ollama\models。如果需要修改存储路径,可以在系统环境变量中添加 OLLAMA_MODELS:
打开“系统属性” > “环境变量”。
在“用户变量”中点击“新建”,变量名为 OLLAMA_MODELS,变量值为新的存储路径(如 D:\Ollama\Models)。
4.2 启动 Ollama 服务
在命令提示符中运行以下命令启动 Ollama 服务:

ollama serve

默认是127.0.0.1只允许本机访问,如果想外部电脑访问,执行

set OLLAMA_HOST=0.0.0.0:11434
ollama serve 

默认情况下,Ollama 服务运行在 http://localhost:11434

5. 下载并运行 DeepSeek R1 32B 模型

5.1 拉取模型
在命令提示符中运行以下命令拉取 DeepSeek R1 32B 模型:

ollama pull deepseek-r1:32b

根据自己电脑配置自定义安装模型版本
在这里插入图片描述

该模型需要较高的硬件配置(如 NVIDIA RTX 4090 24GB GPU)。下载过程可能需要较长时间,请确保网络连接稳定。
5.2 运行模型
模型下载完成后,运行以下命令启动模型:

ollama run deepseek-r1:32b

##多个模型最后指定对应的模型名称

首次运行时,Ollama 会加载模型并启动交互界面。

查看ollama模型列表

ollama list

5.3 测试模型
在交互界面中输入问题,例如:
你好,DeepSeek 能做什么?
模型会回复类似:“你好!我可以回答问题、生成文本、帮助编程等。有什么我可以帮你的?”。

6. 使用 Chrome 插件 Page Assist 访问模型

6.1 安装 Page Assist
Page Assist 是一款开源的浏览器扩展程序,为本地 AI 模型提供直观的交互界面。你可以通过以下方式安装:
访问 Chrome Web Store,搜索 Page Assist:
直接点击扩展链接:PageAssist扩展链接
点击“添加到 Chrome”按钮完成安装。
在这里插入图片描述

6.2 配置 Page Assist
安装完成后,通过以下步骤配置 Page Assist:
打开 Chrome 浏览器,点击右上角的扩展图标,找到 Page Assist。
点击扩展图标,打开设置页面。
在设置页面中,选择“API 设置”,配置与 Ollama 的连接:
输入 Ollama 服务的地址(如 http://localhost:11434)。
选择 DeepSeek R1 32B 模型。
保存设置后,刷新页面。
在这里插入图片描述
如是访问外部服务,需勾选Ollama URL 高级配置
在这里插入图片描述

6.3 使用 Web UI 与模型对话
配置完成后,你可以通过 Page Assist 的 Web UI 与 DeepSeek R1 32B 模型进行对话:
点击扩展图标,选择“打开 Web UI”。
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值