weixin_51314534-CSDN博客

原创第七课-OpenCompass 大模型评测实战作业

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。解压评测数据集到 data/ 处。

2024-04-25 11:21:06 354 1

原创第七课-OpenCompass 大模型评测实战笔记

对话模型：指令数据有监督微调(SFT)；人类偏好对齐(RLHF)公开权重的开源模型：使用GPU/推理加速卡进行本地推理。OpenCompass 核心代码库功能全面升级。基座模型：海量数据无监督训练(Base)API 模型：发送网络请求获取回复。夯实基础:自研高质量大模型评测基准。群策群力:携手行业领先共建繁荣生态。

2024-04-25 09:21:20 361 1

原创第六课-Lagent & AgentLego 智能体应用搭建作业

由于 Lagent 的 Web Demo 需要用到 LMDeploy 所启动的 api_server，因此我们首先按照下图指示在 vscode terminal 中执行如下代码使用 LMDeploy 启动一个 api_server。与 1.2 部分类似，我们在两个 terminal 中分别启动 LMDeploy 服务和 Tutorial 已经写好的用于这部分的 Web Demo。在这一部分中，我们将带大家体验 Lagent 的 Web Demo，使用 Lagent 自定义工具，并体验自定义工具的效果。

2024-04-22 09:28:20 978

原创第六课-Lagent & AgentLego 智能体应用搭建笔记

一个多模态工具包，旨在像乐高积木，可以快速简便地拓展自定义工具，从而组装出自己的智能体支持多个智能体框架。(如 Lagent、LangChain、Transformers Agents)提供大量视觉、多模态领域前沿算法。经过上面的介绍，我们可以发现，Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

2024-04-22 09:24:41 224

原创第五课-LMDeploy 量化部署 LLM-VLM 实践作业

可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有数据集或者模型想对外分享，网盘又不太方便，就不妨托管在HuggingFace。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。

2024-04-21 16:04:59 700 1

原创第五课-LMDeploy 量化部署 LLM-VLM 实践笔记

W4A16量化(AWQ):将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。知识蒸馏是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型，在不改变学生模型结构的情况下提高其性能。PTQ的主要目标是减少LLM的存储和计算复杂性，而无需对LLM架构进行修改或进行重新训练。量化技术将传统的表示方法中的浮点数转换为整数或其他离散形式，以减轻深度学习模型的存储和计算负担。

2024-04-21 16:02:30 710 1

原创第四课-XTuner 微调 LLM：1.8B、多模态、Agent作业

XTuner 微调个人小助手认知技术文档：Tutorial/xtuner/personal_assistant_document.md at camp2 · InternLM/Tutorial · GitHub1 开发机准备 Cuda11.7-conda镜像， 10% A100 * 1，创建开发机器。2 快速上手2.1环境安装：假如我们想要用 XTuner 这款简单易上手的微调工具包来对模型进行微调的话，那我们最最最先开始的第一步必然就是安装XTuner！安装基础的工具

2024-04-20 09:52:24 566

原创第四课-XTuner 微调 LLM：1.8B、多模态、Agent笔记

在本节中，我们将自己构造<questiontext><image><answer text>数据对,基于InternLM2 chat 1.8B这个文本单模态模型，使用LLaVA方案训练一个给InternLM2 Chat 1.8B使用的lmage Projector文件。除了将训练中间状态切片外，DeepSpeed 训练时使用 FP16 的权重，相较于 Pvtorch 的 AMP 训练在单 GPU 上也能大幅节省显存。使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据。

2024-04-20 09:48:16 486

原创第三课-茴香豆：搭建你的 RAG 智能助理笔记（含作业）

RAG(Retrieval Augmented Generation)是一种结合了检索(Retrieval)和生成(Generation)的技术,旨在通过利用外部知识库来增强大型语言模型(LLMs)的性能。相似性检索：根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程通常通过计算余弦相似度或其他相似性度量来完成。检索结果根据相似度得分进行排序最相关的文档将被用于后续的文本生成。检索：接收到用户的问题后，将问题也编码成向量，并在向量数据库中找到与之最相关的文档块(top-k chunks ).

2024-04-19 09:30:41 912 1

weixin_51314534的博客