weixin_44575875的博客

原创 书生实战营进阶岛第6关

和相比区别是把internstudio换成了github codespace。随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

原创 huixiangdou

提问1，知识库范围内，正确回答。提问2，无关内容，拒绝回答。

原创 书生实战营进阶岛第5关

RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。

原创 书生实战营进阶岛第4关

微调前：微调后：

原创 书生实战营进阶岛第3关

1、在 BF16 精度下，7B模型权重占用2、kv cache占用：剩余显存，kv cache默认占用80%，即3、其他项是故=权重占用+kv cache占用+其它项1、在 BF16 精度下，7B模型权重占用14GB2、kv cache占用4GB：剩余显存24-14=10GB，kv cache修改为占用40%，即10*0.4=4GB3、其他项1GB是故19GB=权重占用14GB+kv cache占用4GB+其它项1GB。

原创 书生实战营进阶岛第2关

基于 Lagent 自定义智能体

原创 书生实战营基础岛第6关

列出所有跟 InternLM 及 C-Eval 相关的配置。

原创 书生实战营基础岛第1关

开源之路性能天梯原生推理、上下文记忆、自主规划搜索能力出色核心思路：不断反馈迭代高质量合成数据策略：基于规则的数据构造、基于模型的数据扩充、基于反馈的数据生成推理能力领先大海捞针实验：0.1-1million Token文档中定位任何位置的信息效果都非常出色解决思路：规划、拆分、搜索、整合模型谱系数据、预训练、微调、部署、评测、应用全链条开源数据模态多样、数据量庞大数据提取、数据标注工具通过显存优化、分布式训练及优化帮助企业节省成本、提高效率适配多种生态、多种硬件的高效微调框架，支持算法：QLoRA,LoR

原创 书生实战营基础岛第5关

微调前:微调后:但是出现过拟合:减小数据量重新训练:

原创 书生实战营基础岛第4关

错误答案1:正确答案1:错误答案2:补充新闻:正确答案2:

原创 书生实战营基础岛第3关

原创 书生实战营基础岛第2关