DrFlown-CSDN博客

原创学习笔记 | OpenCompass ：是骡子是马，拉出来溜溜

如何通过能力评测促进模型发展？大语言模型评测中的挑战工具架构 OpenCompass 采取客观评测与主观评测相结合的方法。针对具有确定性答案的能力维度和场景，通过构造丰富完善的评测集，对模型能力进行综合评价。针对体现模型能力的开放式或半开放式的问题、模型安全问题等，采用主客观相结合的评测方式。 1、客观评测针对具有标准答案的客观问题，我们可以通过使用定量指标比较模型的输出与标准答案的差异，并根据结果衡量模型的性能。

2024-04-24 20:50:16 539

原创学习笔记 | Lagent & AgentLego 智能体应用搭建

在本节中，我们将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰。

2024-04-23 14:37:38 546

原创学习笔记 | LMDeploy 量化部署 LLM-VLM 实践

根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。 TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。

2024-04-22 20:35:27 812

原创学习笔记 | XTuner 微调 LLM：1.8B、多模态、Agent

底座模型 (Foundation Model) 是为了一般性任务而训练，需要领域内微调来更好地适应领域内任务。

2024-04-21 13:26:01 956 1

原创学习笔记 | 信息论（傅祖芸第5版）

1、通信过程是一种消除不确定性的过程。2、香农对信息的定义：信息是事物运动状态或存在方式的不确定性的描述。3、在通信系统中，形式上传输的是消息，但实质上传输的是信息。4、通信的结果是消除或部分消除不确定性从而获得信息。5、信号是消息的运载工具。6、香农信息定义的特点优点：是一个科学的定义，有明确的数学模型和定量计算；与日常用语中信息的含义一致；缺点：假定事物状态可以用一个以经典集合论为基础的概率模型来描述，然而对实际事物运动状态或存在方式寻找一个合适的概率模型是困难的；

2024-04-19 12:55:36 1330

原创学习笔记 | 茴香豆：搭建你的RAG智能助理

拒答分数在检索过程中通过与示例问题的相似性检索得出，高质量的问题得分高，无关、低质量的问题得分低。需要注意的是，这里启用的远程模型，只用在问答分析和问题生成，依然需要本地嵌入、重排序模型进行特征提取。检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。增强搜索利用知识领域的源文件建立图数据库，当模型判断问题为无关问题或回答失败时，增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索，并尝试用搜索到的内容重新生成答案。

2024-04-18 13:22:44 587

原创学习笔记 | 浦语大模型趣味Demo

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。是一个开源的模型共享平台，它提供了大量的预训练模型以及使用这些模型进行推理的工具。：提供了一个用于自然语言处理（NLP）任务的强大工具包，包括预训练模型（如BERT、GPT等）、模型微调和模型部署的功能。：提供了广泛的绘图功能，用于创建各种类型的静态、交互式和动画图表，是数据可视化领域的常用工具之一。

2024-04-17 14:42:06 637

原创学习笔记 | 书生·浦语大模型全链路开源体系

eg. 部分参数微调可以借助低秩自适应 (LoRA)：冻结预训练模型权重，将原始矩阵分解为两个矩阵的乘积，其中一个矩阵的秩比另一个矩阵的秩低。这时只需要将低秩矩阵注入Transformer架构的每一层，就可以减少模型参数数量，提高训练吞吐量，并且在模型质量上表现出色，且不会增加推理延迟。先进行模型的选型，若业务场景不复杂，则可直接进行模型评测和部署；若业务场景复杂，则需根据算力进行继续训练、全参数或部分参数的微调，随后，若需要进行环境交互（API等），还需构建智能体。4、目前大模型的问题。

2024-04-16 21:50:54 154

DrFlown的博客