m0_49134108的博客

目前已经试过通过agentlego调用文生图插件（只要是基于stable diffusion的模型调用方法都是类似的，例如IDEA的Taiyi中文文生图）和OCR插件（从图像里识别文字）。（这就是作业帮的功能吧）然后在tool选项卡内，可以选择你想使用的插件，如果在下拉菜单里已经包括了你想使用的插件类型，可以直接选择并加载；如果没有，需要查看agentlego的tools/__init__.py里有没有包括该插件，如果没有需要按agentlego的模板自定义一个，并写入__init__.py文件里。

现在文本领域的大模型，如chatgpt对文字的理解能力已经做到很强了。那么怎么让大模型不仅会“说”，而且会“看”，拥有跨图像和文字的多模态能力呢？多模态的算法其实研究了很长时间了，进入大模型时代后是一个质变的飞跃时刻。就是标志着“transformer”这一种模型架构可以一统江湖了。这里限于篇幅，就列出多模态理解的一个重要的论文——CLIP。（原来是openai出品的文章。。现在才发现。果然openai的工作都是有重大影响力的）作者：小小将。

图2 使用TurboMind 推理+API调用的方式部署7B模型，并生成小故事。图1 使用TurboMind 推理+命令行本地对话部署7B模型。

笔记/作业标题链接第1节课笔记第2节课笔记第2节课作业第3节课笔记第3节课作业第4节课笔记第4节课作业第5节课笔记第5节课作业第6节课笔记第6节课作业。

【代码】LMDeploy 大模型量化部署实践 -- 笔记。

指令跟随微调数据中会有 Input 和 Output 希望模型学会的是答案(Output)而不是问题(Input)，训练时只会对答案部分计算Loss。增量数据微调最终要的不同在于：“让LLM知道什么时候开始一段话，什么时候结束一段话。”微调准备工作模型下载数据下载开始微调加速模型转换将得到的 PTH 模型转换为 HuggingFace 模型，即：生成 Adapter 文件夹在本示例中，为：此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”将 Hugging

在完成本作业时，发现lmdeploy0.2.0部署InternLM2-Chat-7B会报错。还是改用0.1.0版本。使用Opencompass评测，输出结果的csv文件截图如下。可以看到相比于上面的评测结果，部分数据集下降了，部分升高了。

为了准确和公正地评估大模型的能力，国内外机构在大模型评测上开展了大量的尝试和探索。

可以看到，当问模型“介绍一下你自己”的时候，会回答“我是leonfrank的小助手”。但是微调后的模型对其他的问题也是只能回答“我是leonfrank的小助手”，失去了在泛化领域回答问题的能力。1）将训练好的Adapter模型权重上传到 OpenXLab、Hugging Face 或者 MoelScope 任一一平台。构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手。

在用户输入prompt以后，将用户的prompt也转化成embedding，和向量数据库里的embedding进行匹配，然后将用户的prompt和文本的prompt一起输入大模型，得到模型的回答。b.构建Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。a.通过 Chroma 以及上文定义的词向量模型将上文构建的向量数据库导入进来。

这时候需要对用户提问做一下改写，或者将知识库的文本和问题匹配成问答对，然后匹配的时候使用用户的问题和问答对里的问题匹配。是一种更灵活的RAG实现，它允许不同的检索和生成模块根据特定的应用需求进行替换或重新配置，为整个问答过程提供了更丰富的多样性和更强的灵活性。检索：使用相同的编码模型将用户输入转换为向量，计算问题嵌入和文档块嵌入之间的相似度，选择相似度最高的前K个文档块作为当前问题的增强上下文信息。旨在解决朴素RAG中存在的检索质量和生成质量的问题，主要方法是检索预处理和检索结果后处理。