a61022706的博客

部署指的是已经开发好的大模型投入使用，要把模型部署到服务器或者移动端里，如何在有限的资源里加载大模型？比如你好不容易训好了一个大模型，想在手机上跑，可是模型参数那么大，一次推理需要的显存也不小，手机上怎么访问？

下载opencompass，配置必要的环境之后，解压下载的数据集。执行运行命令，运行评测。

本文采用XTuner进行对InterLM2-Chat-1.8B模型的微调实践。Xtuner工具介绍：Xtuner是一款由上海人工智能实验室开发的低成本大模型训练和微调工具箱，它的特点是以配置文件的形式封装了大部分微调场景。Xtuner支持多种微调策略,如增量预训练和指令跟随微调。同时支持全参、LoRA和QLoRA三种微调方式。

在inter-studio平台上，下载模型，体验lmdeploy。

大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能。感觉用opencompass这个框架进行评测，会比自己写评测脚本方便一点，因为涉及到不同的指标什么的。全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力。分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

进行InternLM2-Chat-1.8B模型访问，进入开发机后。不知道是对齐的时候太严格了还是怎么样，能力有限。

lora微调是整个模型参数加载到内存中，但是只加载lora的部分参数的优化器状态。全参数微调是整个模型加载到内存中，并且所有参数的优化器状态也会加载。而构建高质量的对话（指令）数据，则涉及到以下流程。qlora是整个模型的参数都以4bit的形式加载。在指令微调的过程中，需要高质量的对话数据。

最中间部分的是LLM，即为大语言模型模块，他可以思考planning和调用什么action，再将其转发给动作执行器action executer执行。支持的工具如下：Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器。

规则处理：随机爬的网页很多脏数据，针对标点符号的异常断行、异常字符出现频率、标点符号分布情况等设计了一系列启发式过滤规则。安全过滤：采用“域名屏蔽”、“词屏蔽”、“色情分类”和“毒性分类”相结合的综合安全策略对数据进行过滤。对模型中的权重矩阵如Wk, Wq, Wv进行了调整，以支持不同的张量并行转换，并提高训练速度。质量过滤：互联网来源的数据包含大量低质量的内容，人工按照一些维度标注，然后训练模型二次过滤。激活函数选择了SwiGLU之类的激活函数，提升了模型的性能。数据格式化：爬的网页提取正文和检测语言。

首先通过 touch /root/agent/agentlego/agentlego/tools/magicmaker_image_generation.py（大小写敏感）的方法新建工具文件。

设置接受问题列表和拒答问题列表，在问题进来时，先进行相似度匹配，与接受问题列表里的内容相似的才进行回复，否则在用户群聊中，有很多闲聊是不需要回复的。在实践过程中学到很多知识点，尤其是linux指令。部署位置为Intern Studio 开发机。感觉知识库里没有的内容，搜索不到也会不回答。