最近老师让我做一个关于DeepSeek的小项目,迫于电脑的配置并不够高,我之前没有本地部署的打算,但是现在看必须要本地部署试一试了,不然一直服务器未响应也没办法测试,想直接看部署教程的可以跳转到“二、DeepSeek的部署”,以下言论均为个人观点,如有错误感谢指正
目录
一、预备知识
1、大模型是什么
- 大模型:
是指参数规模达到数亿甚至数千亿的深度学习模型,其中有两个关键词,“参数”和“深度学习”
- 参数:
参数最基础的应用就是数学中函数的参数,在相同条件下,参数不同,函数的结果就不同,例如函数
一次函数f(x)描述直线,二次函数g(x)描述简单的曲线,对于一条非常复杂的曲线,只要参数和自变量的幂足够多,就可以描述该复杂曲线
大模型中的参数就是对输入内容进行调整,最终输出结果,一般大模型训练的越多,参数就会越多且越精准
- 深度学习:
深度学习通俗讲就是多量多次的机器学习
- 常见大模型:
外国的GPT,国内的文心一言,豆包,Kimi,以及要介绍的DeepSeek
2、DeepSeek是什么
DeepSeek:中国深度求索公司推出的开源大模型系列,在DeepSeek推出R1大模型之前,其知名度不及其他国产大模型,直至“深度思考”模型R1问世并开源才开始席卷科技圈
3、为什么DeepSeek热度空前
DeepSeek的两大特点:高性价比和开源,高性价比体现在用更少的显卡训练出了能够对标GPT的性能,开源就是源代码开放,每个人都可以直接下载安装后使用并和其他软件结合使用
4、为什么DeepSeek要本地部署
- 离线可用:不需要访问DeepSeek的服务器
- 定制功能:通过调整源代码和调用API接口实现更多功能
- 数据安全:对于企业来说,使用本地部署不会将数据交给第三方服务器
二、本地部署
1、Ollama安装
Ollama是一个开源框架,专为在本地机器上便捷部署和运行大模型而设计
第一步:访问官网:ollama官网,并点击“DownLoad”进入ollama安装包下载界面
第二步:选择与系统相同的安装包,此处以windows为例,直接点击“download for windows”
第三步:双击安装包,直接安装即可(默认装C盘,如果需要修改请在“三、常见问题”中找到“Ollama如何安装在非系统盘”)
第四步:测试ollama是否可用,重新开启一个cmd窗口,输入"ollama",如果有如下图的输出,则说明可用,如果没有以下输入,则说明系统环境变量设置有问题,需要将安装目录添加到系统环境变量中
2、DeepSeek模型选择
第一步:回到Ollama官网,找到DeepSeek-R1,进入DeepSeek模型下载界面
第二步:在如图所示的下拉框中,找到合适的模型
如果需要查看本机的显存,请在“三、常见问题”中找到“如何查看本机显存”
1.5b-1.1GB | 表示该模型有1.5billion即15亿个参数 需要显存1.1GB | 适用于核显用户 |
7b-4.7GB | 表示该模型有70亿个参数 需要显存4.7GB | 适用于6-8G显存用户 |
…… | …… | …… |
671b-404GB | 表示该模型有6710亿个参数 需要显存404GB | 适用于有服务器和大量显卡的企业/个人 |
3、DeepSeek安装
第一步:在确定好模型之后,直接复制右侧相应的安装命令
第二步:在cmd窗口中,直接粘贴刚才的命令,并等待大模型的下载
出现“success”说明安装成功
4、测试
安装成功之后就自动进入DeepSeek的命令行界面了,使用任意问题进行测试
5、增加UI界面
第一步:搜索“Cherry Studio”,在“官网”点击下载
第二步:安装完成直接打开即可
第三步:进入Cherry Studio之后,依次点击“设置”-“模型服务”-“ollama”,随后将右上角的开关打开,最后点击“管理”
第四步:选择添加刚才下载好的DeepSeek模型
第五步:回到主页面,点击最上方切换模型
第六步:选择添加好的“ollama”中的“R1”模型
6、测试UI界面
在 Cherry Studio主页面中,与DeepSeek进行对话,如图所示,可以看到DeepSeek正在问答问题,并占用了大量的CPU和GPU资源
三、常见问题
1、Ollama如何安装在非系统盘
第一步:下载好Ollama安装包
第二步:在文件资源管理器中找到安装包所在的目录
第三步:在显示目录的地方输入“cmd”并回车
第四步:在cmd中输入以下命令
OllamaSetup.exe /DIR="d:\some\location"
双引号中"d:\some\location"替换为你的目标目录
第五步:输入命令后,会自动跳转到Ollama的安装界面,直接选择安装即可,可以看到此时的安装目录已经被修改到E盘中的目标目录中了
2、如何查看本机显存
显存是对于独立显卡而言的,只有独立显卡才有显存的概念
在开始界面(win键)中输入“设备管理器”并回车,找到“显示适配器”
如下图所示,第一个“AMD Radeon(TM) Graphics”是AMD的CPU中集成的显卡,即集显
第二个“NVIDIA GeFroce RTX 3060 Laptop GPU”是NVIDIA的独立显卡,简称独显
如果显示适配器中只有一项,且带有“AMD”或“Intel”字样的话,说明只有集成显卡
如果显示适配器中不止一项,且第二项带有“NVIDIA”或“AMD”字样,说明有独立显卡
在“任务管理器”中可以查看显存
在开始界面(win键)中输入“任务管理器”并回车,在“性能”中找到独立显卡,其“专用GPU内存”就是独立显卡的内存
如图所示:我的显卡的显存是6GB的,因此最多运行8b的模型