利用deepseek打造个人知识库(满血版不要求硬件)

背景介绍

最近,国产大模型 DeepSeek 的本地部署教程在网络上热度颇高,不少人都想亲自体验一把 私人 AI 助手 的感觉。

然而,现实却很残酷

➤ 用本地精简版AI模型?就像让小学生做高考题,连简单问答都错误百出

普通用户一般选择蒸馏版 DeepSeek - R1,其参数从 1.5B70B 不等。即便如此,不同参数的蒸馏版模型对显存的要求也各有不同:

1.5B 模型:通常 4GB 左右显存即可,如一些只有核显搭配 8GB 内存的入门级设备就能运行,可进行简单基础任务。

8B 参数量:正常情况下 810GB 显存比较合适,显卡推荐 NVIDIA GTX1660 及以上。

14B 模型:需要 8GB 显存,如果是 16G 显存的电脑运行 14b 参数模型,大概需要占用 12G 显存。

32B 模型:需 18GB 显存。

70B 模型:则需要 140GB 显存,通常需要多卡并行,比如 8A100 80G显卡。

➤ 用完整版AI模型?光显卡就要买564090显卡(比买辆保时捷还贵),个人用户/中小企业根本玩不起。

DeepSeek R1 系列模型有多个版本,满血版 DeepSeek - R1 参数高达 671B,这个版本需要专业服务器支持,普通用户基本不用考虑。

那么有没有可以用满血deekseek且不要求硬件,且可以搭建个人知识库/公司知识库的方法嘛?

有的兄弟,有的!

满血版且不要求硬件的方案:硅基流动 + Cherry Studio

硅基流动

硅基流动‌是一家专注于生成式AI云服务平台的公司,致力于提供高性价比的GenAI云服务。其核心产品是SiliconFlow平台,该平台支持文本对话、图像生成、视频生成和语音合成等功能。新用户注册即可获得2000万Tokens,方便地进行各种智能操作‌。

硅基流动注册链接:

https://cloud.siliconflow.cn/i/6srT4AvQ

填写邀请码:6srT4AvQ(填邀请码才有2000万的tokens)

自行注册即可,模型广场里面有不同类型的ai,就是ai版本的淘宝,可以自行在线体验,本次使用的是硅基的api,模型广场不做过多介绍

创建一个自己的api密钥,点击密钥即可复制,复制下来之后有用。

Cherry Studio

Cherry Studio是一款面向专业用户的多模型桌面客户端,旨在提供高效、便捷的AI交互体验。它支持WindowsmacOS系统,未来还将拓展至移动平台。Cheery Studio内置了30多个行业的智能助手,集成超过300个大语言模型,用户可以根据任务需求自由切换模型。平台支持多模态交互,包括文本、语音和图片输入,还提供AI助手功能,帮助用户更高效地完成任务。此外,Cheery Studio通过RAG知识库增强问答功能,支持多源数据整合和语义检索优化,让复杂任务的处理变得更加简单。

下载地址:

https://cherry-ai.com

下载完成后,首先点击设置,将硅基流动的api密钥复制上去,并且检查,看是否可以成功利用,如果显示403401等建议重新生成一次密钥。

连接成功后,往下拉有个管理

可以自行选用要调用的模型服务,这里我选择的pro版本的deepseekR1v3

个人知识库配置

点击知识库,使用自己的笔记喂给ai,经过测试,2G多的文档,大概也就传了两分钟,还是挺快的

可以点击搜索知识库,看看是否成功导入

之后返回主界面:

选择你刚刚创建的知识库,就可以开始愉快的使用啦

ai会根据你喂的数据回答问题,并且给出用到的文档

AI大模型学习路线

如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!

扫描下方csdn官方合作二维码获取哦!

在这里插入图片描述

这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!

请添加图片描述
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

请添加图片描述

大模型全套视频教程

请添加图片描述

200本大模型PDF书籍

请添加图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

LLM面试题合集

请添加图片描述

大模型产品经理资源合集

请添加图片描述

大模型项目实战合集

请添加图片描述

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值