DeepSeek本地部署教程以及常见问题

最近老师让我做一个关于DeepSeek的小项目,迫于电脑的配置并不够高,我之前没有本地部署的打算,但是现在看必须要本地部署试一试了,不然一直服务器未响应也没办法测试,想直接看部署教程的可以跳转到“二、DeepSeek的部署”,以下言论均为个人观点,如有错误感谢指正

目录

一、预备知识

1、大模型是什么

2、DeepSeek是什么

3、为什么DeepSeek热度空前

4、为什么DeepSeek要本地部署

二、本地部署

1、Ollama安装

2、DeepSeek模型选择

3、DeepSeek安装

4、测试

5、增加UI界面

三、常见问题

1、Ollama如何安装在非系统盘

2、如何查看本机显存

参考


一、预备知识

1、大模型是什么

  • 大模型:

        是指参数规模达到数亿甚至数千亿的深度学习模型,其中有两个关键词,“参数”和“深度学习”

  • 参数

        参数最基础的应用就是数学中函数的参数,在相同条件下,参数不同,函数的结果就不同,例如函数

f(x)=ax+b,(a\neq 0),g(x)=ax^2+bx+c,(a\neq 0)

        一次函数f(x)描述直线,二次函数g(x)描述简单的曲线,对于一条非常复杂的曲线,只要参数和自变量的幂足够多,就可以描述该复杂曲线

        大模型中的参数就是对输入内容进行调整,最终输出结果,一般大模型训练的越多,参数就会越多且越精准

  • 深度学习

        深度学习通俗讲就是多量多次的机器学习

  • 常见大模型

        外国的GPT,国内的文心一言,豆包,Kimi,以及要介绍的DeepSeek

2、DeepSeek是什么

        DeepSeek:中国深度求索公司推出的开源大模型系列,在DeepSeek推出R1大模型之前,其知名度不及其他国产大模型,直至“深度思考”模型R1问世并开源才开始席卷科技圈

3、为什么DeepSeek热度空前

        DeepSeek的两大特点:高性价比开源,高性价比体现在用更少的显卡训练出了能够对标GPT的性能,开源就是源代码开放,每个人都可以直接下载安装后使用并和其他软件结合使用

4、为什么DeepSeek要本地部署

  • 离线可用:不需要访问DeepSeek的服务器
  • 定制功能:通过调整源代码和调用API接口实现更多功能
  • 数据安全:对于企业来说,使用本地部署不会将数据交给第三方服务器

二、本地部署

1、Ollama安装

Ollama是一个开源框架,专为在本地机器上便捷部署和运行大模型而设计

第一步:访问官网:ollama官网,并点击“DownLoad”进入ollama安装包下载界面

第二步:选择与系统相同的安装包,此处以windows为例,直接点击“download for windows”

第三步:双击安装包,直接安装即可(默认装C盘,如果需要修改请在“三、常见问题”中找到“Ollama如何安装在非系统盘”)

第四步:测试ollama是否可用,重新开启一个cmd窗口,输入"ollama",如果有如下图的输出,则说明可用,如果没有以下输入,则说明系统环境变量设置有问题,需要将安装目录添加到系统环境变量中

2、DeepSeek模型选择

第一步:回到Ollama官网,找到DeepSeek-R1,进入DeepSeek模型下载界面

第二步:在如图所示的下拉框中,找到合适的模型

如果需要查看本机的显存,请在“三、常见问题”中找到“如何查看本机显存”

1.5b-1.1GB

表示该模型有1.5billion即15亿个参数

需要显存1.1GB

适用于核显用户
7b-4.7GB

表示该模型有70亿个参数

需要显存4.7GB

适用于6-8G显存用户
………………
671b-404GB

表示该模型有6710亿个参数

需要显存404GB

适用于有服务器和大量显卡的企业/个人

3、DeepSeek安装

第一步:在确定好模型之后,直接复制右侧相应的安装命令

第二步:在cmd窗口中,直接粘贴刚才的命令,并等待大模型的下载

出现“success”说明安装成功 

4、测试

安装成功之后就自动进入DeepSeek的命令行界面了,使用任意问题进行测试

5、增加UI界面

第一步:搜索“Cherry Studio”,在“官网”点击下载

第二步:安装完成直接打开即可

第三步:进入Cherry Studio之后,依次点击“设置”-“模型服务”-“ollama”,随后将右上角的开关打开,最后点击“管理”

第四步:选择添加刚才下载好的DeepSeek模型

第五步:回到主页面,点击最上方切换模型 

第六步:选择添加好的“ollama”中的“R1”模型 

6、测试UI界面

在 Cherry Studio主页面中,与DeepSeek进行对话,如图所示,可以看到DeepSeek正在问答问题,并占用了大量的CPU和GPU资源

三、常见问题

1、Ollama如何安装在非系统盘

第一步:下载好Ollama安装包

第二步:在文件资源管理器中找到安装包所在的目录

第三步:在显示目录的地方输入“cmd”并回车

第四步:在cmd中输入以下命令

OllamaSetup.exe /DIR="d:\some\location"

双引号中"d:\some\location"替换为你的目标目录

第五步:输入命令后,会自动跳转到Ollama的安装界面,直接选择安装即可,可以看到此时的安装目录已经被修改到E盘中的目标目录中了

2、如何查看本机显存

显存是对于独立显卡而言的,只有独立显卡才有显存的概念

在开始界面(win键)中输入“设备管理器”并回车,找到“显示适配器”

如下图所示,第一个“AMD Radeon(TM) Graphics”是AMD的CPU中集成的显卡,即集显

第二个“NVIDIA GeFroce RTX 3060 Laptop GPU”是NVIDIA的独立显卡,简称独显

如果显示适配器中只有一项,且带有“AMD”或“Intel”字样的话,说明只有集成显卡

如果显示适配器中不止一项,且第二项带有“NVIDIA”或“AMD”字样,说明有独立显卡

在“任务管理器”中可以查看显存 

在开始界面(win键)中输入“任务管理器”并回车,在“性能”中找到独立显卡,其“专用GPU内存”就是独立显卡的内存

如图所示:我的显卡的显存是6GB的,因此最多运行8b的模型

参考

Ollama是什么,为什么这么好用

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值