- 博客(12)
- 收藏
- 关注
原创 书生实战营进阶岛第6关
和相比区别是把internstudio换成了github codespace。随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务(免费的 InternLM2.5-7B-Chat 真的很香),MindSearch 的部署与使用也就迎来了纯 CPU 版本,进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。
2024-08-29 00:17:29
903
原创 书生实战营进阶岛第5关
RAG(Retrieval Augmented Generation)技术,通过检索与用户输入相关的信息片段,并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新,无需训练就可以掌握新领域的知识。本次课程选用茴香豆应用,就应用了 RAG 技术,可以快速、高效的搭建自己的知识领域助手。
2024-08-19 15:57:44
271
原创 书生实战营进阶岛第3关
1、在 BF16 精度下,7B模型权重占用2、kv cache占用:剩余显存,kv cache默认占用80%,即3、其他项是故=权重占用+kv cache占用+其它项1、在 BF16 精度下,7B模型权重占用14GB2、kv cache占用4GB:剩余显存24-14=10GB,kv cache修改为占用40%,即10*0.4=4GB3、其他项1GB是故19GB=权重占用14GB+kv cache占用4GB+其它项1GB。
2024-08-13 11:46:05
391
原创 书生实战营基础岛第1关
开源之路性能天梯原生推理、上下文记忆、自主规划搜索能力出色核心思路:不断反馈迭代高质量合成数据策略:基于规则的数据构造、基于模型的数据扩充、基于反馈的数据生成推理能力领先大海捞针实验:0.1-1million Token文档中定位任何位置的信息效果都非常出色解决思路:规划、拆分、搜索、整合模型谱系数据、预训练、微调、部署、评测、应用全链条开源数据模态多样、数据量庞大数据提取、数据标注工具通过显存优化、分布式训练及优化帮助企业节省成本、提高效率适配多种生态、多种硬件的高效微调框架,支持算法:QLoRA,LoR
2024-08-06 14:50:04
154
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人