背景介绍
最近,国产大模型 DeepSeek
的本地部署教程在网络上热度颇高,不少人都想亲自体验一把 私人 AI 助手
的感觉。
然而,现实却很残酷
➤ 用本地精简版AI模型?就像让小学生做高考题,连简单问答都错误百出
普通用户一般选择蒸馏版 DeepSeek - R1
,其参数从 1.5B
到 70B
不等。即便如此,不同参数的蒸馏版模型对显存的要求也各有不同:
1.5B
模型:通常 4GB
左右显存即可,如一些只有核显搭配 8GB
内存的入门级设备就能运行,可进行简单基础任务。
8B
参数量:正常情况下 8
到 10GB
显存比较合适,显卡推荐 NVIDIA GTX1660
及以上。
14B 模型:需要 8GB
显存,如果是 16G
显存的电脑运行 14b
参数模型,大概需要占用 12G
显存。
32B
模型:需 18GB
显存。
70B
模型:则需要 140GB
显存,通常需要多卡并行,比如 8
张 A100 80G
显卡。
➤ 用完整版AI模型?光显卡就要买56
块4090
显卡(比买辆保时捷还贵),个人用户/中小企业根本玩不起。
DeepSeek R1
系列模型有多个版本,满血版 DeepSeek - R1
参数高达 671B
,这个版本需要专业服务器支持,普通用户基本不用考虑。
那么有没有可以用满血deekseek
且不要求硬件,且可以搭建个人知识库/公司知识库的方法嘛?
有的兄弟,有的!
满血版且不要求硬件的方案:硅基流动 + Cherry Studio
硅基流动
硅基流动是一家专注于生成式AI
云服务平台的公司,致力于提供高性价比的GenAI
云服务。其核心产品是SiliconFlow
平台,该平台支持文本对话、图像生成、视频生成和语音合成等功能。新用户注册即可获得2000万Tokens
,方便地进行各种智能操作。
硅基流动注册链接:
https://cloud.siliconflow.cn/i/6srT4AvQ
填写邀请码:6srT4AvQ(填邀请码才有2000万的tokens)
自行注册即可,模型广场里面有不同类型的ai,就是ai版本的淘宝,可以自行在线体验,本次使用的是硅基的api,模型广场不做过多介绍
创建一个自己的api
密钥,点击密钥即可复制,复制下来之后有用。
Cherry Studio
Cherry Studio是一款面向专业用户的多模型桌面客户端,旨在提供高效、便捷的AI交互体验。它支持Windows
和macOS
系统,未来还将拓展至移动平台。Cheery Studio
内置了30
多个行业的智能助手,集成超过300
个大语言模型,用户可以根据任务需求自由切换模型。平台支持多模态交互,包括文本、语音和图片输入,还提供AI
助手功能,帮助用户更高效地完成任务。此外,Cheery Studio
通过RAG
知识库增强问答功能,支持多源数据整合和语义检索优化,让复杂任务的处理变得更加简单。
下载地址:
https://cherry-ai.com
下载完成后,首先点击设置,将硅基流动的api
密钥复制上去,并且检查,看是否可以成功利用,如果显示403
,401
等建议重新生成一次密钥。
连接成功后,往下拉有个管理
可以自行选用要调用的模型服务,这里我选择的pro
版本的deepseekR1
和v3
个人知识库配置
点击知识库,使用自己的笔记喂给ai
,经过测试,2G
多的文档,大概也就传了两分钟,还是挺快的
可以点击搜索知识库,看看是否成功导入
之后返回主界面:
选择你刚刚创建的知识库,就可以开始愉快的使用啦
ai会根据你喂的数据回答问题,并且给出用到的文档
AI大模型学习路线
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
扫描下方csdn官方合作二维码获取哦!
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
