本地部署DeepSeek并使用AnythingLLM建立本地知识库全流程,DeepSeek-R1:7b本地安装部署,DeepSeek-R1本地部署硬件要求

本地部署DeepSeek并建知识库全流程

大概流程就是先使用ollama客户端下载DeepSeek,然后使用AnythingLLM建立知识库,这里先贴一张DeepSeek的测评

一、下载安装Ollama客户端

官网下载地址: https://ollama.com/download

选择自己的电脑系统下载,win10及其以上都可以选Windows下载

下载后安装,等待安装完成打开终端输入

ollama -v

出现版本表示安装成功

二、下载deepseek-R1大模型

在ollama官网中找到DeepSeek-R1的下载链接

网址:deepseek-r1

这里我就选择7b来演示,其他可根据自己电脑的配置选择

硬件配置

1.DeepSeek-R1-1.5B :

CPU :最低 4 核,推荐 Intel/AMD 多核处理器。

内存 :8GB+。

硬盘 :3GB+ 存储空间,模型文件约 1.5-2GB。

显卡 :非必需,纯 CPU 推理即可,若 GPU 加速可选 4GB+ 显存,如 GTX 1650。

2.DeepSeek-R1-7B :

CPU :8 核以上,推荐现代多核 CPU。

内存 :16GB+。

硬盘 :8GB+,模型文件约 4-5GB。

显卡 :推荐 8GB+ 显存,如 RTX 3070/4060。

3.DeepSeek-R1-32B :

CPU :Xeon 8 核 + 128GB 或更高。

内存 :64GB。

显卡 :2-4 张 A100 80GB 或更高。

存储 :320GB。

4.DeepSeek-R1-70B :

CPU :Xeon 8 核 + 128GB 或更高。

内存 :128GB。

显卡 :8+ 张 A100/H100,显存≥80GB/ 卡。

存储 :500GB+。

复制命令粘贴到终端

ollama run deepseek-r1:7b

 在终端运行,等待下载完成

 下载完成后就可以正常使用了

 可以直接对话了

三、下载AnythingLLM创建本地知识库 

进入官网下载:Download AnythingLLM for Desktop

这里还是用windows做演示

下载好后安装

安装完了运行

四、创建工作空间

前面的都可以跳过,这里输入一个名字

进入后我们点击设置-聊天设置-工作区LLM提供者

选择ollama

这里就会直接找到你刚刚配置好的deepseek-r1:7b

 

save settings(保存设置)后,我们拉到下面update workspace(更新工作空间)

 我们点击default打开聊天先试试可不可以正常对话

可以对话没问题,我们导入所需要让他学习的资料

 找到工作区的上传按钮

上传你的学习资料

选择要让deepseek学习的学习资料,然后移动到工作空间

然后保存嵌入一下

 然后我们新建一个对话,问相关的问题就可以看到他会从资料中检索回答了

这样就完成了,快来建立自己的知识库吧!!!

总结:

1.下载安装了ollama

2.通过ollama下载安装DeepSeek-R1:7b模型(可按照电脑配置选个合适的)

3.下载安装AnythingLLM

4.在AnythingLLM中创建deepseek工作区并喂养文件

免责声名:

一切均严格参照开源策略,没有任何侵权意图,完全免费,本文章全由自己编写,如出现任何问题请联系我,我将删除。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值