deepseek本地部署,可断网下使用,

deepseek本地部署+图形化页面配置

官网下载速度慢的话可以去资源里下载ollama 以及可视化工具

地址为https://download.csdn.net/download/u013358093/90344315

安装ollama

在官网点击Download下载对应系统的安装程序。

https://ollama.com/

1

如果C盘内存足够,可以直接安装

默认是安装到C盘的,如果你想安装到指定目录可以在安装程序目录上方输入CMD打开命令行窗口

在弹出的命令行窗口内输入:

setx OLLAMA_MODELS F:\chatgpt_all\ollama

1

来修改环境变量OLLAMA_MODELS,将模型下载位置修改到F:\chatgpt_all\ollama目录,你也可以改为其他容量比较大的磁盘下的目录

设置ollama服务启动配置:在弹出的命令行窗口内输入执行

setx OLLAMA_HOST 0.0.0.0

setx OLLAMA_ORIGINS *

1

2

之后默认一步一步安装即可

安装deepseek模型

本人使用的Y9000P  3060,独立显存6GB,此处使用的ollama run deepseek-r1:7b

选择模型大小。正常情况下根据自己的显卡显存选择,显存小的就用1.5b,比如显存8G就选择8B的模型

显存需求与模型版本匹配

1.5B参数模型

显存需求:大约4GB(INT8量化后)

应用场景:基础对话、简单文本生成

匹配度:非常适合RTX3060,即使不量化,也能满足基本需求。

7B参数模型

显存需求:大约8GB(INT8量化后)

应用场景:日常对话、代码补全等

匹配度:RTX3060在量化后能够流畅运行此模型,适合日常使用和轻度任务。

14B参数模型

显存需求:大约12GB(INT8量化后)

应用场景:更复杂的任务,如写作、编程辅助

匹配度:RTX3060在量化后能够运行,但可能接近显存上限,适合对性能有一定要求的用户。

DeepSeek 模型有多个版本,比如 “deepseek - r1:1.5b” 版本,,适合一般文字编辑使用,占用空间较小,只需要 1.1GB 空余空间;而 “deepseek - r1:7b” 版本,性能与 OpenAI - 01 相当,需要 4.7GB 空余空间;还有更大的版本,如 “deepseek - r1:32b” ,需要 20GB 空余空间,对电脑配置要求也更高。大家可以根据自己的电脑配置和使用需求,选择合适的模型版本,只需要在下载命令中把版本号替换掉就行,比如要下载 “deepseek - r1:32b” 版本,就输入 “ollama run deepseek - r1:32b” 。

我使用的deepseek-r1:7b版本

打开cmd窗口输入复制下来的命令

ollama run deepseek-r1:7b

等待一段时间,安装成功

其他命令

查看当前安装的模型: ollama list

查询运行的模型:ollama ps

集成ChatGPT-Next-Web界面

安装

下载之后默认安装即可

https://github.com/ChatGPTNextWeb/NextChat/releases/

1

配置

打开ChatGPT-Next-Web界面 设置,进行基础配置:

配置服务商:选择Open Ai

自定义模型名:deepseek-r1:7b

模型:选择 deepseek-r1:7b

接口地址:http://127.0.0.1:11434

关闭配置页面。所有工作已经完成, 可以试试在ChatGPT-Next-Web 里点击 新的聊天,来与大模型进行聊天了。

至此断网条件下也可以使用了,ollama也要开着。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

feibaoqq

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值