离线文件分享了,快来抄作业,本地部署一个DeepSeek个人小助理

我们前面介绍了通过在线方式部署本地的DeepSeek-R1模型帮你省20块!仅需2条命令即可通过Ollama本地部署DeepSeek-R1模型,默认情况下,Ollama会被安装到C盘的用户目录下,例如:

C:\Users\%username%\AppData\Local\Programs\Ollama

而模型文件也会被保存到C盘的用户目录下,例如:

C:\Users\%username%\.ollama\models\blobs

我们可以在安装时使用命令行更改安装路径,而模型的保存路径则需要单独修改,建议安装之前就进行调整。

模型的保存路径需要通过修改环境变量实现,在环境变量的“系统变量”部分,点击“新建”,变量名输入“OLLAMA_MODELS”,变量值填入我们期望的模型保存路径,例如“C:\ollama\models”。   

342a82d74819768c6cc32161d239b2ec.png

然后点击两次“确定”保存更改。

接下来,我们使用以下命令行安装软件并更改安装路径:

.\OllamaSetup.exe /DIR="C:\ollama\"

30640cc065b7030b95e87533946352f9.png

在弹出来的Ollama安装对话框中,点击【Install】开始安装程序。

0e3f73d08a6850024ac47bf382554ddf.png

在这里我们已经可以看到安装路径已经变了。   

78219aaaf18f0c343b679874311a34be.png

等待软件安装完成之后,界面会自动关闭。此时,模型文件夹就修改到我们手工设置的路径下了。

76b56b47ee2f0421572c9c6cfc976176.png

检查一下安装后的空间,占用磁盘大小为4.56 GB,再考虑到模型的存放,请合理安排安装路径和模型存放路径。   

7a52038df62fe35d1ee9fce7d8c70ee2.png

我们前面已经介绍过了如何通过命令自动下载并加载模型帮你省20块!仅需2条命令即可通过Ollama本地部署DeepSeek-R1模型,可能有些有伙伴的网络不太好,这时可能就需要手工导入模型了。

有两种方式,第一种是直接把下载好的文件拷贝过来,不过这种模式的文件名不太友好。

84051657950057029e95788ee7b8726f.png

模型在下载时会下载5个文件,分别是model(模型架构)、params(模型参数)、template(输入输出格式)、license(软件许可证文件)和校验文件,前面4个对应模型列表中的文件。   

b46031c515ac6a07e19f478c3c82dc32.png

通过文件名我们已经看不出来谁是谁了,只能通过文件大小来简单判断。

除了这里的4个,还有一个校验文件,里面记录了模型的简要信息,以及其他4个文件的sha256校验值。

c3733c1ef98031a2c38582f42b1fcfd6.png

如果我们将这些文件直接拷贝到模型下载路径下面,在命令行执行下载命令即可快速完成加载。   

4b4a6ba2de57dd8d487d5ea4f86130ba.png

缺点也是显而易见,就是如果准备了多个模型,文件的区分将是个大问题。

那接下来,我们换个思路,从校验文件中我们已经知道模型的格式为gguf,参数规模为1.8B,那我们将文件名修改一下;同时,创建一个Modelfile文件来描述模型的信息,文件内容如下:

FROM C:\ollama\models\blobs\deepseek-r1-1.8b-Q4_K_M.gguf

1819e180870a6aaba9ef58215cc05ad7.png

然后使用以下命令手动在Ollama中导入模型:

ollama create deepseek-r1-1.8b -f C:\ollama\models\blobs\Modelfile-deepseek-r1-1.8b.txt

66f8817e63beedc199954d3e91588b1b.png

此时,我们可以看到,之前的1.5b版本已经以崭新的1.8b形态面世了。

接下来,我们使用以下命令运行模型:   

ollama run deepseek-r1-1.8b

b918e1eb251154f4090ad6cd8d99bc21.png

我这里用了一个没有GPU的服务器,仅仅靠CPU也能比较顺畅的回答。

当然,如果想通过界面进行对话,也可以使用ChatBox,这是一款开源的桌面客户端,它旨在为用户提供一个便捷的方式与多种AI模型进行交互,如ChatGPT、Claude、Google Gemini Pro等。下载链接如下:

https://download.chatboxai.app/releases/Chatbox-1.9.8-Setup.exe

下载之后直接安装即可,完成安装之后运行客户端,在AI模型提供方这里,我们选择【使用自己的API Key或本地模型】。   

652ddd9abe1be3e97f98a2974947fe30.png

提供方的选项有Ollama API和DeepSeek API两个选项,我们选择【Ollama API】。   

ea586953b86b2f986df5368655d1d778.png

在设置界面,API域名使用默认的即可,选择一个合适的模型,比如选择新建的1.8b版本,点击【保存】。   

9cafa789101ab9bcfb870e96788019a8.png

然后就可以在对话窗口开始聊天了。   

4241c109156cb509b20f0cd4fdd25023.png

对话过程中消耗的CPU还是比较大的,占用了64个核心,估计也是和底层的分配有关系,我分配的是128个核心,但是单物理CPU只有44个核心,所以只能是以32*4的形式分配。至于这里为啥只能用到一半?那就得问问开发人员了。

当然,本地CPU版本的性能会比较差,我又拿了一道数学题问了一下,算了一个多小时还没算明白。   

53e72fec20f9ba9b59e9fe5873ef6c54.png

可以看到,他开始的时候理解就出了问题,但是他坚持不懈地算了一个多小时,也停不下来,我都没办法纠正他。

511364fc5b8e64f9f80caee824c6c334.png

好了,本次部署用到的文件我已经上传到云盘了,后台回复“deepseek”获取分享链接。   

***推荐阅读***

帮你省20块!仅需2条命令即可通过Ollama本地部署DeepSeek-R1模型

成了!Tesla M4+Windows 10 + Anaconda + CUDA 11.8 + cuDNN + Python 3.11

一个小游戏里的数学问题,难倒了所有的人工智能:ChatGPT、DeepSeek、豆包、通义千问、文心一言

目前来看,通义千问好像勉强能和ChatGPT-3.5打个平手!

快,跑快点,ChatGPT-4模型免费用了

Ubuntu使用Tesla P4配置Anaconda+CUDA+PyTorch

Zabbix实战第一步:完成在Ubuntu Server的安装部署

Ubuntu磁盘空间不足或配置错误时,如何操作扩容?

Ubuntu安装、配置、操作、测评MySQL数据库全体验

当你买了一台Linux云主机,应该如何测试主机性能?

没有图形界面,如何快速部署一个Ubuntu 24.10的Server虚拟机

清华大模型ChatGLM3在本地Tesla P40上也运行起来了

一起学习几个简单的Python算法实现

用轻量应用服务器的注意了,0.5GB内存的规格请谨慎使用

f5c5b2952db73b4db2718aee3afe266b.jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Danileaf_Guo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值