本文详细解析了Qwen3的核心架构、预训练策略、后训练优化体系及性能评估与工程实践。Qwen3采用混合专家模型（MoE）和优化后的注意力机制，通过三阶段预训练策略构建大规模多语言语料库，并利用长上下文训练技术扩展模型能力。后训练阶段引入双模融合机制和强化学习策略，进一步提升模型性能。评估体系涵盖通用知识、数学推理、代码生成等多维度指标，工程实践中通过动态批处理和量化部署优化推理效率。Qwen3在多项任务中表现出色，尤其在多语言能力和代码生成方面具有显著优势。

通过对 Dify 中 errors、extension 和 external_data_tool 模块的深入剖析，我们不仅了解了其各个模块内部的精细结构和工作原理，还掌握了它们之间的关联与协同机制。这些模块为 Dify 应用提供了强大的错误处理、灵活的扩展能力和便捷的外部数据集成支持，是构建现代化、高性能软件系统的重要基石。希望本文的讲解能够帮助您更好地理解和运用 Dify，激发您在软件开发领域的更多创意和实践。

Agent 模块是 Dify 中负责处理用户请求的核心组件。接收用户输入并解析请求。根据请求内容调用合适的工具或模型。生成响应并返回给用户。管理整个交互流程，包括工具调用、消息处理和状态管理。通过本文的详细解析，我们深入了解了 Dify 的 Agent 模块的架构设计和实现细节。Agent 模块通过灵活的策略、丰富的工具、高效的消息处理和状态管理，为开发者提供了一个强大的 AI 应用开发平台。希望本文能帮助你更好地理解和使用 Dify 的 Agent 模块。更智能的策略。

随着人工智能技术的飞速发展，越来越多的领域开始探索如何将AI与传统行业深度融合。中医作为中国传统文化的重要组成部分，其传承与发展一直面临诸多挑战。《中医名医 AI 个人大脑（LLM）技术方案》旨在通过AI技术为每位名医打造个性化大脑，实现中医知识的沉淀、传承与创新。

上图展示了 RAPTOR 树的构建过程。从叶节点（文本块）开始，通过递归地嵌入、聚类和摘要，构建出一个多层次的树状结构。每个父节点包含其子节点的摘要，从而形成了不同抽象层次的表示。RAPTOR 的核心思想是利用文本摘要来允许在不同尺度上进行检索增强，从而有效地处理长文档。文本分割与嵌入：将检索语料库分割成短文本块（约 100 个 token），并使用 SBERT（Sentence-BERT）对这些文本块进行嵌入，形成叶节点。聚类与摘要：对嵌入后的文本块进行聚类，然后使用语言模型对每个聚类生成摘要。

在自然语言处理领域，传统问答系统往往面临两大难题：如何突破模型知识边界？如何保障回答的可信度？RAG（Retrieval-Augmented Generation）架构应运而生。而当我们以工程视角实现RAG时，就需要一个标准化的载体——RAG Agent。

传统方法：老师先教 1000 道例题（SFT 数据），学生模仿练习。R1-Zero 方法：直接扔给学生 100 万道题，配一台“自动批改机”。学生自己摸索解法，机器实时反馈对错。最终，学生总结出一套高效的解题套路，甚至超越老师教的答案。这就是 R1-Zero 的核心——让 AI 在“题海战术+自动批改”中自我顿悟。传统做法：召集全国名师手写答案 → 耗时十年，成本爆炸。AI 辅助做法Step1：请 10 位名师写 100 道标准答案（冷启动数据）。Step2。

用 Xinference 部署Embedding Model，正常来说一次调用在 0.0x s 就能返回了，但是总会调着调着突然有超时的情况（超时设置为 0.2s）。这里模型我是部署了2个实例，每次的2次超时是在不同实例上的。可以看到偶发的超时是有规律性的，每隔20次调用都会超时2次。

使用docker compose启动Dify后，在其中配置本地xinference中的模型，报错：get xinference model extra parameter failed, url: http://127.0.0.1:9997/v1/models/bge-m3, error: HTTPConnectionPool(host=‘127.0.0.1’, port=9997): Max retries exceeded with url: /v1/models/bge-m3 (Caused by N

自加入新的团队以来，我有幸领导了大模型团队的技术框架建设工作。在这段时间里，我们构建了一个三层架构（L0-L2），旨在为复杂的产品和业务需求提供强有力的支持。本文将分享我们在这一过程中的经验、遇到的挑战以及未来的展望。

大型语言模型（LLM, Large Language Models）是人工智能领域的一种深度学习模型，它们通过处理大量的文本数据来学习语言的模式，并能完成诸如文本生成、翻译、问答等多种任务。这些模型通常包含数十亿个参数，需要相当大的计算资源来进行训练和服务（即推理或预测）。在服务阶段，模型的参数、中间计算结果（激活值）、以及键值缓存（KV cache）都需要占用显存空间。如上图所示，当在一个 NVIDIA A100 GPU 上部署一个拥有130亿参数的大型语言模型时的显存布局情况。

模型微调是指通过微调工具，加入企业独有的场景数据，对平台的基础模型进行微调。它可以帮助你快速定制出更符合你业务场景需求的专属大模型。它的优势在于对基础模型进行少量调整，满足特定的需求。相比训练新模型高效且低成本。

上述挖掘的都是比较简单的模型。如“世界之最”的问题。首先意图判断：query是否包含世界之最支持实体类型，以及是否包含最大、最小、第一、第二等触发词。作者基于结构化词条、问答论坛的数据，来进行模板挖掘的。当问答论坛数据中，问题包含实体，答案包含属性值，就可以以此构造解析模板。模型可能对于某些类的预测比较差，而这些类在随机负采样中未能覆盖到。“圆柱体的体积怎么算”- “圆柱体的面积怎么算”增强结果，得到正样本：Q1’、Q2’找到Q2’，与Q2相似度 < 0.3。增强结果，得到负样本：Q1’、Q2’

客服结束一通咨询后，需进行背景、诉求、处理结果的填写。智能的会话摘要，可以提升客服坐席工作效率，改善其办公体验。作者的方案进行了如下的演进：效果如下：我理解，在这个业务场景下，其实用抽取式摘要是不太合理的。抽取式摘要适用于新闻摘要的场景，但是对话摘要的摘要和原文的文本表达方式是大相径庭的。还有相比单纯的文本摘要，对话摘要更加合适结合半结构化模板来做。因为客服咨询对话核心要点是固定的，如：背景、诉求、处理结果等。而且，这样的摘要更适用于客服后续跟进时进行查阅。

指令微调是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调的过程。指令微调中的数据组织策略非常重要，因为它直接影响到模型最终的能力。指令微调是针对预训练的大语言模型进行的一项训练技术，旨在让模型更好地理解和执行特定的指令。指令数据构建的提升方法主要包括指令格式设计、扩展指令数量以及指令重写与筛选这三个方面。LoRA在大语言模型的微调中被广泛应用，能够显著降低模型训练成本。【腾讯文档】【第3章】低成本的领域&私域大模型训练方法。【腾讯文档】【第3章】低成本的领域&私域大模型训练方法。

在这个示例中，我们首先随机打乱社区摘要的顺序，然后将它们分割成更小的块，每个块的长度不超过50个字符。Answer Reasoning 是指代理（智能助手）在探索图结构并收集相关信息后，根据笔记本中记录的不同探索路径的信息来推断和回答问题的过程。Initial Node（初始节点）是指从图结构中选择的一个或几个节点，这些节点将成为探索图结构以寻找答案的起点。这种增强方法的基本思想是从知识图谱中检索出与问题相关的子图，并将这些子图的信息提供给大语言模型，从而增强模型的回答能力。

在没有长度惩罚的情况下，解码算法倾向于生成较短的序列，因为随着序列的增长，序列的概率（实际上是概率的乘积）会呈指数级减小，导致较长序列的累积概率低于较短序列，即使较长序列的每个词的概率都很高。这一策略的基本思想是，由于大型语言模型通常具有更广泛的知识和更强的生成能力，它们倾向于为重要的词元分配更高的概率。模型蒸馏，或称知识蒸馏，是一种在深度学习领域中广泛应用的技术，其目标是将一个大型、复杂的模型（教师模型）的知识转移到一个较小、较简单的模型（学生模型）中。

最终，所有被选中的专家的意见（输出）会被综合考虑（加权求和），形成一个全面的治疗方案（模型的最终输出）。残差连接就像是在爬山时携带的一条绳子，绑在你已经到达的高度（先前的层的输出），这样即便探索的新路径（新一层的计算）没有带你更高，你还可以通过绳子回到之前的高点，保证至少不会后退。不同于Transformer模型，后者通过注意力机制几乎无差别地考虑所有过去的输入，S4通过矩阵B和C的变化与输入内容直接相关联，这意味着不同的输入序列会有不同的矩阵B和C，从而模型能更加智能地决定哪些信息重要，哪些可以忽略。

直到GPT系列的诞生，特别是GPT-3和ChatGPT，它们仿佛一夜之间长大成人，能够独立思考，解决各种难题，甚至进行创造性的工作，不需要太多微调，就像是拥有广泛知识和经验的智者，能在各种场合游刃有余。在90年代，语言模型还处于蹒跚学步的阶段，就像孩子刚开始学习词汇，比如n-gram模型，它们能学会预测下一个单词，但对复杂语境的理解还很有限，像一个只会背诵单词的小朋友。总之，大语言模型的出现，就像一场科技界的文艺复兴，让机器不再是冰冷的工具，而成了有温度、有智慧的伙伴，一起开启了一个充满无限可能的新时代。

无论是写文章、解决问题，还是进行自然语言处理，ChatGPT和OpenAI API都可以帮助我们更快速、更准确地完成。通过Prompt Engineering，我们可以更好地理解ChatGPT的工作原理，从而更好地利用它。通过使用OpenAI API，我们可以更深入地了解人工智能的各个方面，从而更好地利用它。还有OpenAI API，这个由OpenAI公司提供的API，可以让我们轻松地实现各种人工智能应用。而且，OpenAI API还提供了各种预训练模型，你只需要简单地调用API，就能实现各种复杂的功能。

在预训练阶段，Qwen-VL使用了一个大型的语言模型（LLM）作为基础组件，该模型的权重是从Qwen-7B模型中初始化的。此外，基于预训练的Qwen-7B，发布了Qwen-7B-Chat，这是一个基于大型模型的人工智能助手，通过对齐技术进行了训练。通过将Q-Former的输出连接到冻结的语言模型，并训练Q-Former使其输出的视觉表示可以被语言模型解释，从而实现视觉到语言的生成学习。总之，Qwen-VL是一种大规模视觉-语言模型，具备强大的视觉理解能力和灵活的交互能力，可应用于多种实际问题的解决。

Vision Encoder Decoder Models 是一种用于将图像转换为文本的模型架构。该架构的核心思想是将预训练的基于 Transformer 架构的视觉模型用作编码器（如 ViT、BEiT、DeiT、Swin），将预训练的基于语言模型的文本生成模型用作解码器（如 RoBERTa、GPT-2、BERT、DistilBERT），从而实现图像到文本的转换。

这一部分为用户提供了工具自定义的功能，使其能够轻松新增自定义工具，进行工具的描述、配置更新和维护。自定义的工具将被添加到工具库中，以备后续使用。这种灵活性和可定制性，使用户能够根据具体需求创建适合其任务的工具，确保了系统的适应性和多功能性。

记忆流（Memory Stream）是生成式代理架构中的一个组件，它是一个长期记忆模块，记录了代理的经历和与环境的交互。记忆流以自然语言的形式呈现，包含了代理的观察、行为、对话和其他与环境相关的信息（以及长期计划（Plan）和更高层次的反思（Reflect）的输出）反应和更新计划（Reacting and Updating Plans）是指代理根据当前的情境和观察到的事件来决定是否继续执行当前的长期计划，或者需要根据新的观察进行反应和更新计划。这些复杂行为和自发事件是由代理之间的互动和环境的变化所驱动的。

我们可以将此方法类比为一种知识蒸馏的过程：具备最佳性能的超大参数通用语言模型充当老师的角色，通过生成的私域"对话历史"数据，来教导参数规模较小的私域大语言模型，让它们也能够从私域数据中受益。其中，"用户定义"是中小型企业对其用户群体的自然语言描述，"私域信息文本段落"是企业内部的文本数据承载的信息片段，"对话历史"是存储我们技术方案生成的历史对话的数据库。本方案通过利用企业内部已有的私域信息文本段落，构造对话指令并生成对话历史，从而生成可靠的对话训练数据，弥补了私域数据获取的难题。

由于GPU中已经有FP16 精度模型了，直接加载会显存不足。默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。

【参考资料】

•。

达尔文大模型 指令微调（instruction tuning）训练，除了进行常规的指令（如问答、摘要等），我们基于赛业生物在多年在生物领域技术的沉淀，构造了更丰富的生物垂类领域指令进行训练。“火山方舟” 包含模型广场、模型体验、模型训练推荐以及模型应用的功能，其使命是加速大模型和大算力的应用落地，加快大模型在各行业发挥商业价值。带给大家一个好消息，“达尔文”大模型将入驻火山引擎大模型生态，上架至“火山方舟”的模型广场，补全火山引擎大模型生态的生物医疗领域，并供大家使用与反馈。

instead!根据你的应用程序，你所使用的文本可以是法律合同、产品描述，或者完全是其他的东西。假设是客户反馈的情况下，你可能会想知道这些反馈是积极的还是消极的。这个任务被称为情绪分析，是我们将在第二章中探讨的更广泛的文本分类主题的一部分。现在，让我们来看看如何使用 Huggingface Transformers 从我们的文本中提取情感。文本摘要的目标是**以一个长文本作为输入，并生成一个包含所有相关事实的简短版本。**这是一项比之前的任务要复杂得多的任务，因为它需要模型来生成连贯的文本。

因此，我们需要一种方法来降低LLM的推理成本，同时保持良好的性能。实验结果显示，FrugalGPT可以在与最佳单个LLM相当的性能下，降低高达98%的推理成本。这些结果表明，FrugalGPT是一种可行的方法，可以在降低成本的同时提高性能。作者强调了LLM API的异构定价结构以及使用最大的LLM所带来的巨大财务、环境和能源影响。LLM近似旨在创建更简单、更便宜的LLM，以在特定任务上与强大但昂贵的LLM相匹配。通过降低模型的复杂性和规模，可以降低成本，同时保持合理的性能。

大模型：大模型通常指的是参数量较大、层数较深的机器学习模型，例如深度神经网络。这些模型具有大量的可训练参数，通过在大规模数据集上进行训练，能够更好地捕捉数据中的复杂模式和特征。结论：工业界和生物相关的大自然语言模型都**偏向医疗行业（用于问诊等），没有生物科学知识（如基因组学等）相关的。**也就是说，类似于定位的生物科学-大自然语言模型，目前工业界是没有的。大语言模型：大语言模型是指具有大规模训练参数的语言序列处理模型。情感分析：分析文本中的情感倾向，如正面、负面、中性等。的能力的大语言模型。

扩散模型的灵感来自热力学，用通俗的话来解释就是，想象一下你在一杯清水中滴入一滴有色的碘伏，然后观察这杯水发生的情况。你会发现，碘伏开始逐渐在水中扩散开来，最终整杯水都会变成有色。这就是扩散，它代表了从有序到混乱的过程。就像你滴入红色液体到清水中，颜色会逐渐扩散开，最终整杯水都变成红色一样。这个过程可以用来描述很多现象，如颜色、热量或分子的传播，都会经历扩散过程，从有序到混合的状态。AI绘画中的扩散模型类似于下面的例子：想象一张图片，开始时它很清晰，然后逐渐添加一些随机噪声，使得图像变得模糊和混乱。

由于 SetFit 使用相对较小的模型实现了高精度，因此它的训练速度非常快，而且成本要低得多。：当前的小样本微调技术需要手工制作的提示（prompts ）或语言器（verbalisers）将样本转换为适合底层语言模型的格式。虽然基于比现有的少样本方法小得多的模型，但 SetFit 在各种基准测试中的表现与sota的少样本方法相当或更好。因此，训练和运行推理的速度通常快一个数量级（或更多）。由于我们的数据集有 6 个类别，我们选择的样本大小为 8，因此我们的合成数据集包含 6×8=48 个样本。

在本文中，作者提出了一种新的以执行查询为核心的表格预训练方法——TAPEX（TAble Pretraining via EXecution）。通过逼近表上的正式语言的结构推理过程，实现了高效的表预训练。结构性推理过程与表的可执行性相关联，即表本身就能够支持各种推理操作（例如，对表中的一列进行求和）。特别是，TAPEX通过对语言模型（LM）进行预训练来模拟表上的SQL执行引擎的行为，来近似SQL查询的结构性推理过程。如图1-1所示，

多标签文本分类（MLTC）是自然语言处理中的一项基本且具有挑战性的任务。以往的研究主要集中在学习文本表示和建模标签相关性上。然而，在预测特定文本的标签时，通常忽略了现有的类似实例中的丰富知识。为了解决这一问题，作者提出了一个k最近邻（kNN）机制，该机制检索几个相邻实例并用它们的标签值作为模型的输出。此外，作者设计了一个多标签对比学习目标，使模型学习到kNN的分类过程，并提高了在推理过程中检索到的相邻实例的质量。

RCI使用文本匹配来定位答案所在的行或者列，其中一个文本是Question，另一个文本是行或者列。RCI Interaction：序列化文本会使用[CLS]和[SEP]将问题与行或者列文本进行拼接，然后这个序列对被输入至ALBERT。最终[CLS] 隐藏层的输出用于后面的线性层和softmax，判断行或者列是否包含答案。问题的向量表示和列或者行的向量表示会先被分别算出来。然后，这两个向量按如上图所示的方式进行拼接，并使用带有softmax层的全连接层对拼接后的向量进行分类。

论文: 《HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking》由于数据规模和计算资源的限制，当前文本检索系统通常遵循召回-排序范式，召回和精排模型通常被实例化为我们在《【NAACL 2021】AugSBERT：用于改进成对句子评分任务的 Bi-encoder 数据增强方法》中介绍到的 Bi-Encoder 和 Cross-Encoder。虽然在检索系统中，召回和排序模型是紧密关联的，但

template（可以是特定的文本tokens或抽象的新的tokens ，唯一的区别是初始化）是提示学习框架中最重要的模块之一。请注意，hard template 将使用模型进行优化,而 soft token 将被单独优化。初始化也是有区别的：注意如果两个soft token具有相同soft_ids的 ，它们将共享嵌入：如果尝试定义 10000 个 soft token，可以使用关键词 duplicate：如果您尝试定义 10000 个相同的soft token，可以使用关键词 same：Post

自然语言处理和信息检索中的许多任务都涉及句子的成对比较——例如，句子相似性检测、释义识别、问答蕴涵和文本蕴涵。最准确的句子比较方法是所谓的cross-encoding，它在逐对的基础上将句子相互映射。然而，训练cross-encoders 器需要带标注的训练数据，收集这些数据是劳动成本很高。我们如何为句子对任务训练完全无监督的模型，从而消除对数据标注的需求呢？