fulekkk-CSDN博客

原创 MindSearch深度解析实践【书生大模型实战营】

由于硅基流动API的相关配置已经集成在了MindSearch中，所以我们在一个终端A中可以直接执行下面的代码来启动MindSearch的后端。如果是新建的codespace，在第一次创建conda环境时，需要condainit，再另启一个终端并activate。因为要使用硅基流动的APIKey，所以接下来便是注册并获取APIKey了。在这里我们介绍一种更简单的方法，它就像克隆一样，无需编写代码即可部署自己的Spaces应用~来注册硅基流动的账号（如果注册过，则直接登录即可）。

2024-12-30 21:41:05 653

原创 InternVL 部署微调实践【书生大模型实战营】

微调后，把模型checkpoint的格式转化为便于测试的格式（记得改成自己文件convert_to_official.py，internvl_v2_internlm2_2b_lora_finetune_food.py对应的路径）demo.py文件中，MODEL_PATH处传入InternVL2-2B的路径，如果使用的是InternStudio的开发机则无需修改，否则改为模型路径。"xtuner-env"为训练环境名，可以根据个人喜好设置，在本教程中后续提到训练环境均指"xtuner-env"环境。

2024-12-30 18:00:34 1551

原创 LMDeploy 量化部署实践闯关任务【书生大模型实战营】

此时对于24GB的显卡，即30%A100，权重占用14GB显存，剩余显存24-14=10GB，因此kvcache占用10GB*0.8=8GB，加上原来的权重14GB，总共占用14+8=22GB。而对于40GB的显卡，即50%A100，权重占用14GB，剩余显存40-14=26GB，因此kvcache占用26GB*0.8=20.8GB，加上原来的权重14GB，总共占用34.8GB。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kvcache占用的显存，以及中间运算结果占用的显存。

2024-12-30 14:21:57 784

原创 Lagent：从零搭建你的 Multi-Agent【书生大模型实战营】

页面的侧边栏有三个内容，分别是模型名称、APIBase地址和插件选择，其中如果采用浦语的API，模型名称可以选择internlm2.5-latest，默认指向最新发布的InternLM2.5系列模型，当前指向。Action，也称为工具，Lagent中集成了很多好用的工具，提供了一套LLM驱动的智能体用来与真实世界交互并执行复杂任务的函数，包括谷歌文献检索、Arxiv文献检索、Python编译器等。（2）批评优化代理：负责审阅生成的内容，指出不足，推荐合适的文献，使文章更加完善。

2024-12-25 17:46:38 813

原创 OpenCompass 评测【书生大模型实战营】

主观评测旨在评估模型在符合人类偏好的能力上的表现。这种评估的黄金准则是人类喜好，但标注成本很高。为了探究模型的主观能力，我们采用了JudgeLLM作为人类评估者的替代品（Compare模式：将模型的回答进行两两比较，以计算对战其胜率。我们基于以上方法支持了JudgeLLM用于模型的主观能力评估（目前opencompass仓库里支持的所有模型都可以直接作为JudgeLLM进行调用，此外一些专用的JudgeLLM我们也在计划支持中）。

2024-12-22 20:21:27 665

原创 XTuner 微调实践微调【书生大模型实战营】

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。那么当上传正常的模型文件后，审核一般就会通过了。

2024-12-20 14:58:20 650

原创 Latex排版

笔记总结自【【教程-30分钟速通LaTeX】LaTeX排版零基础速成教程，数学建模美赛/科研论文必看视频！！（附赠美赛LaTex模板）】 https://www.bilibili.com/video/BV1Mc411S75c/?保存编译快捷键：ctrl+sctrl+左键点击文本可定位对应位置ctrl+alt选中latex代码后ctrl+alt（不松）+J换模板要切换编译方式：tex里改。

2024-12-16 22:49:08 717

原创 2.1微调玩法攻略-Datawhale AI冬令营

具体来说，目前主流的数据集有两种格式：格式和格式，其主要特点如下表所示。

2024-12-15 22:25:48 1993

原创 Datawhale AI冬令营（第一期）1.1 零基础定制你的专属大模型

是一个模型微调的零代码平台，旨在简化模型微调过程，无需一行代码即可定制大模型！提供了直观的界面和高效的工具，支持快速训练和优化现有模型。而且现在免费！现在免费！现在免费！重要的事情说三遍~我们先来感受微调的价值和大致流程，然后按需学习微调攻略吧~

2024-12-10 22:43:17 241

原创书生大模型实战营LlamaIndex+InternLM RAG 实践

Llamaindex RAG 实践基础任务 (完成此任务即完成闯关)任务要求1（必做，参考readme_api.md）：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前浦语 API 不会回答，借助 LlamaIndex 后浦语 API 具备回答 A 的能力，截图保存。注意：写博客提交作业时切记不要泄漏自己 api_key！任务要求2（可选，参考readme.md）：基于 LlamaIndex 构建自己的 RAG

2024-11-28 13:02:41 271

原创书生浦语大模型实战营-浦语提示词工程实践

如果你要求人工智能计算“strawberry”这个词中字母“r”出现的次数，它就不会有如此精细的单词表示，无法从中得出该字母的每个实例的数量和位置。当然，这可能不准确，因为它所学到的数据不是关于计算字母的，甚至可能不包括追踪我们示例单词中的“r”所需的材料类型。基本上，语言模型会根据先前的单词或标记给出的上下文来预测序列中的下一个单词或标记是什么。- description: 根据用户提供的科幻小说主题、背景设定和情节大纲，创作引人入胜的科幻小说章节，确保语言风格符合科幻小说的特点，内容富有创意和逻辑性。

2024-11-27 18:12:59 1682

原创书生·浦语大模型开源开放体系笔记

基于反馈的数据生成：基于人类反馈的数据生成，以得到满足人类需求的模型（标注：无从下手？Lagent：让用户可以高效地构建基于大语言模型的智能体，提供了一些典型工具以增强大语言模型的能力。2023.7.6 InternLM-7B 免费开源，商用，发布全链条的开源工具体系适合个人使用。从处理局限的数据逐渐优化，到未知的数据也能轻松处理，再到针对不同的需求方向开发更加全面专业的模型。通过数据过滤，智能评估预训练数据，指令生成，辅助标注对齐数据，训练得到更好的模型。循环迭代过程，由数据质量驱动的模型性能。

2024-11-26 22:53:47 299