Qwen3双模式原理调研

已于 2025-05-13 16:53:47 修改
阅读量688 收藏 16
点赞数 14
文章标签： 自然语言处理 人工智能 语言模型
于 2025-05-10 01:58:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51785877/article/details/147837835
版权

文章目录

1. 背景知识

CoT(Chain of Thought)

  • 定义
    根据 Google Research 的说法，思维链 （CoT） 提示是一种技术，它允许大型语言模型 （LLM） 在给出最终答案之前将问题作为一系列中间步骤来解决问题。2022 年，Google Brain 报告称，思维链提示通过诱导模型使用模仿思路的推理步骤来回答多步骤问题，从而提高推理能力。

  • 优势

    1. 分解多步问题
      Chain-of-Thought 原则上允许模型将多步问题拆解为若干中间推理步骤，从而能够根据问题的复杂度分配更多的计算资源。

    2. 可解释的推理路径
      Chain-of-Thought 为模型的行为提供了一个可视化“窗口”，揭示模型如何得出答案，并为调试错误的推理路径提供了可能（尽管要全面刻画模型内部的所有计算过程仍是未解难题）。

    3. 广泛的适用性
      Chain-of-Thought 推理可用于数学文字题、常识推理、符号操作等任务，并且（至少在原则上）适用于任何人类能够通过语言解决的问题。

    4. 无需额外训练，易于引出
      只需在 few-shot 提示的示例中加入 Chain-of-Thought 序列，就能在足够大的开箱即用语言模型中轻松引出 Chain-of-Thought 推理。

MoE(Mixture of Experts)

  • 定义

    • Mixture of Experts 将一个大模型拆分为多个子模型（专家），每个专家专注于解决输入空间的不同子区域，然后通过一个门控网络（Gating Network）决定激活哪些专家来处理当前输入 。

  • 架构与组件

    1. 专家子网络（Experts）
      • 在实践中，专家是 FFN，但它们也可以是更复杂的网络，甚至是 MoE 本身，从而导致分层 MoE。
      • Feed-Forward Network（FFN） 是神经网络中最基本的模块之一，其特点是信息单向流动——从输入层经过若干全连接层（及激活函数）直接到输出层，中间不包含任何循环或反馈连接。
    2. 门控网络（Gating Network）
      用于确定将哪些token发送给哪个专家。
    3. 条件计算（Conditional Computation）
      • 条件计算（Conditional Computation）指的是根据输入的不同，有选择性地激活网络的部分子结构，而不是对所有参数进行全量计算。通过只调度必要的模块，条件计算可在保持或提升模型容量的同时，大幅降低计算开销​。
      • affinity 分数反映了 token 与某个专家在特征空间上的相似度或匹配度，分数越高表示该专家越适合处理该 token 。

  • 路由机制
    在使用 MoE 时，如何将令牌路由给专家是重大决策之一。

    1. 固定 Top-K 路由

      • 为每个 token 选择 affinity 分数最高的 Top-K 个专家。

      • 这个策略优点在于实现简单，但容易导致专家负载不均，需要事先对专家容量进行大幅度超配（2×–8×）来避免“丢 token”

    2. 动态容量因子（Expert Choice）
      • 不再让 token 选专家，而是让具有预设容量的专家去选 top-k 个 token。此方法保证了负载均衡，并允许每个 token 接收可变数量的专家。
      • 在 EC 路由中，专家容量 k = （每批输入中平均每个专家处理的 token 数）×（容量因子）；该因子控制了平均每个 token 可以接收多少专家。

Dense模型

  • 全连接层（Dense Layer）
    在该层中，每个输出神经元都与上一层的每个神经元建立连接，等价于对输入向量做一次线性变换再加偏置后通过激活函数​。
  • Dense 模型（Fully‑Connected Network）
    由若干全连接层堆叠而成的前馈网络（feed‑forward），信息单向流动，无循环或稀疏机制，每一步推理都会 “走” 完整个网络所有连接GeeksforGeeks。

Qwen3的推理模式

thinking mode

  • In this mode, the model will generate think content wrapped in a <think>...</think> block, followed by the final response.

  • 就是一种 Chain-of-Thought(CoT)，不作为最终的答案，作为一种内部推理展示。由于模型的自回归特性，后面的输出依赖于前面的输出，CoT有助于提升模型输出的质量。

non-thinking mode

  • 此模式下功能等同于Qwen2.5-Instruct models。产生的token更少，成本更低，相应的回答质量也更低一点。

thinking mode小结

  • 其实就是多生成了一段以<think>...</think>包裹的输出。

2. 从分词器视角分析Qwen快慢思考原理

Qwen分词器的参数

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True # Switches between thinking and non-thinking modes. Default is True.
)

From deepseek :

  • messages：包含多轮对话历史的列表，每个消息是一个字典，包含 role（角色，如 user、assistant、system）和 content（消息内容）。
  • tokenize：控制输出是否分词（返回 token IDs）或保持为字符串。若需直接查看格式化后的字符串（如调试模板），设为 False；若输入模型生成，通常设为 True。
  • add_generation_prompt：在提示末尾添加模型生成回复的起始标记（如 <|assistant|>），引导模型开始生成回复。
  • enable_thinking：控制模型是否启用thinking mode（输出推理过程）或non-thinking模式。

chat_template的组件

  • 仅解释将会提到的部分:
    1. <|im_start|> 和 <|im_end|>：标记消息的开始和结束。
    2. <think></think>：围绕助手的思考过程。
    3. role：标识消息发送者（system、user、assistant、tool），system是系统提示词（也可能没有），user是用户提示词（即用户的输入），assistant就是模型的回复，tool是工具调用的结果。

Hard switch & Soft switch

Hard switch

  • enable_thinking=True
    By default, Qwen3 has thinking capabilities enabled, similar to QwQ-32B. This means the model will use its reasoning abilities to enhance the quality of generated responses.

  • enable_thinking=False
    Strictly disable the model’s thinking behavior, aligning its functionality with the previous Qwen2.5-Instruct models. This mode is particularly useful in scenarios where disabling thinking is essential for enhancing efficiency.

Soft switch

  • We provide a soft switch mechanism that allows users to dynamically control the model’s behavior when enable_thinking=True. Specifically, you can add /think and /no_think to user prompts or system messages to switch the model’s thinking mode from turn to turn. The model will follow the most recent instruction in multi-turn conversations.

注意事项

  • For API compatibility, when enable_thinking=True, regardless of whether the user uses /think or /no_think, the model will always output a block wrapped in <think>...</think>. However, the content inside this block may be empty if thinking is disabled. When enable_thinking=False, the soft switches are not valid. Regardless of any /think or /no_think tags input by the user, the model will not generate think content and will not include a <think>...</think> block.

分词器的输出是什么？——即模型真正接收的输入是什么？

  • 使用下面的代码进行实验
from transformers import AutoTokenizer

model_name = "Qwen/Qwen3-235B-A22B"
# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name)

# prepare the model input
prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True # Switches between thinking and non-thinking modes. Default is True.
)
# 输出分词结果
print(text)
  • 不同情况将对上述的代码模板改动两处：
    1. prompt：软开关 开启 / 关闭 会对应在 prompt 后面加上 "/think" / "/no_think"
    2. enable_thinking：硬开关 开启 / 关闭 会对应 enable_thinking=True / enable_thinking=False

1、enable_thinking=True # 硬开关开启

分三种情况讨论：

1. 不启用软开关
  • 分词结果
    • 代码
      1. prompt = "Give me a short introduction to large language model."
      2. enable_thinking=True
    • 结果
    <|im_start|>user
Give me a short introduction to large language model.<|im_end|>
<|im_start|>assistant
2. 软开关开启
  • 分词结果
    • 代码
      1. prompt = "Give me a short introduction to large language model./think"
      2. enable_thinking=True
    • 结果
    <|im_start|>user
Give me a short introduction to large language model./think<|im_end|>
<|im_start|>assistant
3. 软开关关闭
  • 分词结果
    • 代码
      1. prompt = "Give me a short introduction to large language model./no_think"
      2. enable_thinking=True
    • 结果
    <|im_start|>user
Give me a short introduction to large language model./no_think<|im_end|>
<|im_start|>assistant

2、enable_thinking=False # 硬开关关闭

分三种情况讨论：

1. 不启用软开关
  • 分词结果
    • 代码
      1. prompt = "Give me a short introduction to large language model."
      2. enable_thinking=False
    • 结果
    <|im_start|>user
Give me a short introduction to large language model.<|im_end|>
<|im_start|>assistant
<think>

</think>
2. 软开关开启
  • 分词结果
    • 代码
      1. prompt = "Give me a short introduction to large language model./think"
      2. enable_thinking=False
    • 结果
    <|im_start|>user
Give me a short introduction to large language model./think<|im_end|>
<|im_start|>assistant
<think>

</think>
3. 软开关关闭
  • 分词结果
    • 代码
      1. prompt = "Give me a short introduction to large language model./no_think"
      2. enable_thinking=False
    • 结果
    <|im_start|>user
Give me a short introduction to large language model./no_think<|im_end|>
<|im_start|>assistant
<think>

</think>

原理分析

  • 总结一下上述各种场景的输出

    1. 进行深度思考，即执行thinking mode
    • 根据官方给出的关于软硬开关的介绍，想要进入thinking mode必须满足：
      1. 软硬开关同时开启
      2. 硬开关开启，软开关不启用（注意，启用和打开的区别，开启和关闭都属于启用，不启用不在prompt中指定/think或/no_think）
    • 那么对应到分词结果为
      1. 软硬开关同时开启
      <|im_start|>user
Give me a short introduction to large language model./think<|im_end|>
<|im_start|>assistant
      1. 硬开关开启，软开关不启用
      <|im_start|>user
Give me a short introduction to large language model.<|im_end|>
<|im_start|>assistant
    • 相同点为在assistant部分没有<think>...</think>

    1. 进行快速回答，即执行non-thinking mode
    • 根据官方给出的关于软硬开关的介绍，想要进入non-thinking mode必须满足：
      1. 硬开关关闭
      2. 硬开关开启，软开关关闭
    • 那么对应到分词结果为
      1. 硬开关关闭
      <|im_start|>user
Give me a short introduction to large language model.<|im_end|>
<|im_start|>assistant
<think>

</think>



      <|im_start|>user
Give me a short introduction to large language model./think<|im_end|>
<|im_start|>assistant
<think>

</think>



      <|im_start|>user
Give me a short introduction to large language model./no_think<|im_end|>
<|im_start|>assistant
<think>

</think>
      1. 硬开关开启，软开关关闭
      <|im_start|>user
Give me a short introduction to large language model./no_think<|im_end|>
<|im_start|>assistant

  • 实现原理分析

    1. thinking mode
      通过一定训练手段，使得模型在没有看到user提示/no_think时必须输出<think>...</think>部分，且只看到<think>时，生成的是推理过程，直到看到</think>，可以开始生成最终回答。
    2. non-thinking mode
      通过在assistant部分直接输入<think>\n\n</think>\n，截断模型的思考，使得模型直接输出最终回答。但这种情况有一个例外，就是硬开关开启、软开关关闭的情况，这种情况分词的结果没有直接加上<think>\n\n</think>\n，推测可能在训练时，使用一定手段使模型看到/no_think的情况下，也直接输出最终答案。

  • 采取的手段

    • From GPT : 可能采取的手段

      1. 监督微调（Supervised Fine-Tuning, SFT）

        • Direct-Answer SFT
          只在问答对（question → answer）数据上微调，教模型直接给出最终结论，不演示中间思路 —— 即「non-thinking mode」。
        • Chain-of-Thought SFT
          在包含“链式思考”（chain-of-thought）演示的问答对上微调，让模型学会复述解题的每一步 —— 即「thinking mode」。

      2. 指令微调（Instruction Tuning）

        • 本质上也是一种 SFT，但专门收集“指令 → 响应”数据集，包含“展示推理过程”和“直接给答案”两类示例。
        • 通过多样化指令，让模型学会在不同提示下自动切换输出模式：
          • “请展示你的推理过程” ⇒ chain-of-thought
          • “只要结论就行” ⇒ direct-answer

      3. 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF / RLHM）

        • 优化展示偏好：用人类评分鼓励模型在需要时展示链式思考，提高透明度；在不必要时抑制冗长推理，保持简洁。
        • 多策略切换：分别奖励「thinking mode」与「non-thinking mode」下的高质量输出，实现平滑切换。

      4. 元强化学习 / 层次化 RL（Hierarchical RL / Meta-RL）

        • 研究性手段：上层策略决定“何时使用推理链”（thinking vs. non-thinking），下层策略执行具体的推理或直接回答。

      5. 蒸馏与蒸馏微调（Rationale Distillation）

        • 用大模型生成的高质量 chain-of-thought 作为“教师示例”，蒸馏给小模型，使其在资源有限时也能输出合理思路或直接结论。
    • 官方技术报告 (https://qwenlm.github.io/blog/qwen3/) 中提到：
      To develop the hybrid model capable of both step-by-step reasoning and rapid responses, we implemented a four-stage training pipeline.

      1. 长链式思考（CoT）冷启动

        • 使用涵盖数学、编程、逻辑推理和 STEM 问题等多领域、多任务的多样化长链式思考数据对模型微调
        • 让模型在无强化学习先验的情况下学会“慢慢想”，输出详细的中间推理步骤

      2. 基于推理的强化学习（RL）

        • 在大规模算力环境下应用强化学习
        • 设计基于规则的奖励函数，鼓励模型在探索（exploration）与利用（exploitation）之间取得平衡
        • 提升模型推理质量与效率

      3. 思考模式融合

        • 将“深入推理能力”（thinking mode）与“快速响应能力”（non‑thinking mode）融合于同一模型
        • 使用第二阶段模型生成的长 CoT 数据，结合常见的、无需复杂推理的指令—响应对（instruction‑tuning data）一起微调
        • 实现在需要时输出详细推理，简单场景下快速给出答案

      4. 通用强化学习

        • 在 20 多个通用领域任务上继续应用强化学习
        • 任务包括指令跟随（instruction following）、格式遵循（format following）、代理能力（agent capabilities）等
        • 进一步提升模型通用性并校正潜在偏差或不良行为

3. 相关问题分析

1. 两种模式使用参数量如何？

  1. 对于dense模型来说，无论启用什么推理模式，都不会影响模型参数的启用比例，因为这是dense的架构决定的。

  2. 对于MoE模型来说，不同的模式，由于前面提到的对模型输入的改变，使得模型通过门控网络可能选择使用不同的专家，但是这个操作不是不同模式导致的——MoE本来就是会为不同的token选择不同的专家。也就是说，不是因为模式不一样，所以选择了不同的专家，而是模型看到了token的不同，所以产生不同选择。而且模型也不会因为不同模式就多选或者少选专家，对每个token来说，选择的专家数量还是固定的，即每个token激活的参数量还是相同的（这里的激活指的是“要用到的”，不是实际加载到内存的。每个token激活的专家集合可能是有交集的。另外，这里不考虑有专家容量满载导致的丢弃token现象——被丢弃的token实际少激活了一个专家）。以Qwen3系列中的Qwen3-235B-A22B为例，官方的参数写的很清楚：

    Qwen3-235B-A22B has the following features:

Type: Causal Language Models
Training Stage: Pretraining & Post-training
Number of Parameters: 235B in total and 22B activated
Number of Paramaters (Non-Embedding): 234B
Number of Layers: 94
Number of Attention Heads (GQA): 64 for Q and 4 for KV
Number of Experts: 128
Number of Activated Experts: 8
Context Length: 32,768 natively and 131,072 tokens with YaRN.
For more details, including benchmark evaluation, hardware requirements, and inference performance, please refer to our blog, GitHub, and Documentation.

    可以看到，总专家数为128，激活的专家数为8，激活的参数量为22B。在大多数 MoE 设计里，所有专家都是同构同规模的，这里既然激活参数是相同的，那么可以推断这里的专家设计也是同构同规模。至此，可以得出结论，不同的模式，可能通过门控网络激活了不同专家（处理每个token时都可能启用不同的专家），但是激活的专家数量是固定的，激活的参数量也是固定的。再补充一些思考，1、虽然模型不会因为不同模式就直接选择不同的专家，但是不同模式下可能导致不同token出现的频率不同，那么或许因此就导致不同模式下模型倾向于选择不同的专家集合，训练时也可能由此导致某些专家集合擅长处理某种模式。2、也可能不同模式下由于初始输入就加入了某些特定token，使得通过自注意力层之后，序列后方的token的隐藏状态就包含了这些信息，那么在通过门控网络时，自然就路由到了某个专家集合，如果这样的话，其实倒也可以说不同模式下选择了不同专家。

  • 小结
    两种模式，只不过是通过一定的训练手段，调整模型权重，使得模型看到特定前文token的情况下，对于下一个token的预测倾向或不倾向于某些token（比如结束符），从而在宏观的输出上造成有无深度思考部分、长或短的现象。换句话说，两种模式源于模型能力层面的调整，并非源自架构层面的设计。

2. 计算量如何？

  • 每个token激活的参数量一致，但是对于Decoder来说，计算量是随token位置递增的。（此问题之前的测量中其实也存在，只不过忽视了）
  • 区分激活的参数量和实际加载的参数量和产生的计算量
    激活的参数量才直接影响计算量，但是激活的参数量固定，不代表计算量就固定了。比如Decoder的掩码自注意力层，参数只有QKV权重矩阵，但是后续产生的计算量是因序列长度而变化的。

4. 对强化学习和指令微调的理解

  • 强化学习

    • 自己的简单理解
      让模型去学不具备或者不够强大的能力。
    • o3的“指教”
      需补充：RL 不仅是“学新能力”，也常用于“对既有能力进行对齐和优化”（如风格对齐、安全对齐），而不必完全从零开始学。

  • 指令微调

    • 自己的简单理解
      在已经具备相应能力的情况下，学会什么时候使用什么能力。
    • o3的“指教”
      更准确地说，它还包含“教模型如何遵循指令格式”、“在多种任务间切换”以及“在面对新指令时能够泛化”，不仅仅是“调用已有能力”。

5. References

  1. https://huggingface.co/Qwen/Qwen3-235B-A22B
  2. https://www.51cto.com/article/815096.html?utm_source=chatgpt.com
  3. https://arxiv.org/pdf/2201.11903
  4. https://en.wikipedia.org/wiki/Prompt_engineering?utm_source=chatgpt.com#Chain-of-thought
  5. https://research.google/blog/mixture-of-experts-with-expert-choice-routing/?utm_source=chatgpt.com
  6. https://huggingface.co/blog/Kseniase/moe2?utm_source=chatgpt.com
  7. https://huggingface.co/blog/moe?utm_source=chatgpt.com
  8. https://arxiv.org/pdf/2412.19437
  9. https://en.wikipedia.org/wiki/Mixture_of_experts
  10. https://arxiv.org/pdf/2412.15115
  11. https://arxiv.org/abs/1511.06297
  12. https://arxiv.org/abs/1701.06538
  13. https://builtin.com/machine-learning/fully-connected-layer
  14. https://www.geeksforgeeks.org/what-is-fully-connected-layer-in-deep-learning/
  15. https://qwenlm.github.io/blog/qwen3/
大模型推理加速调研（框架、方法）
qq_33287871的博客
01-05 811
大模型推理加速的目标是高吞吐量、低延迟。吞吐量为一个系统可以并行处理的任务量。延时，指一个系统串行处理一个任务时所花费的时间。调研了一些大模型推理的框架。近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，为了将大模型部署在端侧设备中，我们需要使用一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。量化（Quantization）剪枝（Pruning）知识蒸馏（Knowledge Distillation）
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
丨汀、的博客
04-29 1437
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
史上最强大模型Qwen3震撼来袭！直接成为大模型王炸！
CSDN_430422的博客
04-29 844
Qwen3作为一款开源且性能卓越的混合推理模型，凭借其强大的技术特点和灵活的应用场景，正在引领全球AI技术的新潮流。其低成本、高性能和多语言支持能力，不仅为开发者和企业提供了一个强大的工具，也为全球AI生态的发展注入了新的活力。未来，随着更多优化和应用场景的落地，Qwen3有望在全球AI领域占据更加重要的地位。
Qwen3的“混合推理”是如何实现的
qq_63708623的博客
05-05 875
简单来说，Qwen3 可以在两种不同的模式下运行：思考模式 (Thinking Mode): 在这种模式下，模型会模拟人类解决复杂问题时的思考过程。它会进行更深入的分析、逐步推理（step-by-step reasoning），并将这个思考过程的“痕迹”或中间步骤纳入考量（甚至可能在输出中体现，具体取决于配置）。这对于需要严谨逻辑、复杂推理或创造性解决方案的任务（如数学题、代码生成、深度分析报告）非常有益。
【开源发布】通义千问 Qwen3 全系开源！8款混合推理模型全面解析
努力分享一些人工智能相关的知识干货！
04-29 1755
通义千问Qwen3全系正式开源，覆盖8款混合推理模型，首次引入思考与快速响应双模式，支持119种语言与方言，Agent与工具调用能力大幅增强。旗舰模型Qwen3-235B-A22B在代码、推理、数学等基准测试中表现领先，Qwen3-30B-A3B实现高效推理成本控制。预训练规模达36万亿token，结合强化学习与长思考链训练，推理链条完整度显著提升。支持Hugging Face、ModelScope、SGLang、vLLM等多框架部署，兼容本地轻量推理。Qwen3标志着国内大模型走向智能体系统时代，为开发者
Msty一键搞定：让Qwen3带着知识库在你的电脑上奔跑
2401_84204413的博客
05-03 1076
Msty为我们提供了一种简便的方式，让任何人都能在自己电脑上运行强大的AI大模型，同时轻松开启联网搜索、访问本地文件，以及创建私有知识库——所有这些都无需编写一行代码。本文简单演示了如何下载运行最新的Qwen3模型，以及如何启用本地知识库功能。对于想要在保护隐私的同时享受先进AI功能的用户来说，Msty无疑是一个值得尝试的工具。有兴趣的朋友们不妨立即动手体验，探索自己的专属AI吧！
qwen-long长文本实现技术调研
m0_64646666的博客
04-14 969
因此，我们将前述级别二的智能体（Lv2-智能体）封装为一个工具，由工具调用智能体（Lv3-智能体）调用。Qwen2.5-14B-Instruct-1M 和 Qwen2.5-Turbo 在短文本任务上与 GPT-4o-mini 性能相近，但支持的上下文长度是其八倍。4k-智能体：同样使用32k-模型的模型，但采用前文描述的更复杂的智能体策略。模型大小和推理成本：尽管做了大量优化，但处理 1M 上下文长度的模型仍然需要较高的计算资源，如何在资源受限的环境下更有效地部署模型仍然是一个挑战。
阿里 Qwen3 技术详解: 4B 参数媲美 72B，MoE 架构的开源突破
weixin_59191169的博客
05-05 1237
Qwen3 通过专家混合（MoE）架构实现了性能与效率的突破，其在编程、数学和常识推理等领域的优异表现展示了其跨任务的强大能力。开源策略进一步放大了其影响力，使其成为 AI 社区和行业的重要资产。无论是推动编程工具智能化、教育资源普惠化，还是催化企业级应用创新，Qwen3 都展现了深远的潜力。未来，随着更多开发者参与到 Qwen3 的生态建设中，其技术边界将被不断拓展。我们或许能看到它与视觉、语音等多模态技术的融合，或在边缘计算、绿色 AI 等新兴领域发挥更大作用。
大模型本地知识库：白嫖Qwen3大模型，手把手教你搭建本地知识库，打造最强大脑！
2401_85373691的博客
05-12 912
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
qwenvl 以及qwenvl 2 模型架构理解
Sansipi的博客
12-26 1960
qwenvl 模型理解：参考资料：论文：最近正好在做qwenvl 总结记录一下qwenvl 以及qwenvl2模型的架构，本文主要聚焦模型架构和训练技术，其他内容后面有涉及再补由于我主要关注模型架构，因此读论文的时候读完摘要直接看model architecture。
AI大模型本地部署：通过unsloth 框架以 LoRA 的方法微调 Qwen3-14B 模型
2401_85373691的博客
05-06 986
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
Manus技术架构与应用实践深度解析
西木风落
04-05 888
Manus的突破标志着AI从“建议生成”走向“行动执行”的范式转移。其技术架构为行业提供了可复用的蓝本——多代理协同、沙箱隔离、动态规划等设计理念，正在成为下一代智能体的标准配置。本文从技术架构、实现机制、应用场景及行业影响四个维度，深度解析Manus的核心技术创新。
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
丨汀、的博客
08-07 759
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
【自然语言处理与大模型】向量数据库：Milvus使用指南
qq_39780701的博客
05-19 365
Milvus使用指南
AI人工智能的SGLang、vllm和YaRN大语言模型服务框架引擎的对比
没刮胡子的程序员专栏
05-20 50
SGLang、vLLM和YaRN是三种适用于大语言模型（LLMs）的技术框架，各自在特定场景中表现出色。SGLang专为多模态任务设计，通过优化前后端语言协同，提升交互速度和可控性，适用于图像生成、视频处理及低延迟应用。vLLM专注于大规模模型推理优化，采用动态调度和PagedAttention内存管理，支持高并发和分布式部署，适合企业级API服务。YaRN则通过扩展上下文窗口，提升模型处理长文本的能力，适用于文档摘要、机器翻译等任务。示例代码展示了如何分别使用这些框架进行图像生成、文本推理和上下文扩展，并
LSTM语言模型验证代码
最新发布
lele52141的专栏
05-20 748
使用 model.predict() 替代 predict_classes()# 使用 model.predict() 替代 predict_classes()# 使用 model.predict() 替代 predict_classes()# 对于多分类问题（softmax输出），获取预测类别索引。# 对于多分类问题（softmax输出），获取预测类别索引。# 对于多分类问题（softmax输出），获取预测类别索引。----------生成训练数据---------
大语言模型与多模态模型比较
技术人集结地
05-17 1495
大语言模型（LLM）和多模态模型（LMM）在输入数据类型、模态融合技术、模型架构、训练范式、应用场景和关键技术挑战等方面存在显著差异。LLM专注于文本数据处理，适用于文本生成、机器翻译等任务，而LMM支持文本、图像、音频、视频等多种模态输入，能够实现跨模态理解和生成任务。LMM的架构设计通常采用多模块组合，如ViT处理图像和Transformer处理文本，并通过跨模态对齐技术统一特征空间。尽管LMM在处理复杂现实任务方面具有优势，但也面临模态对齐、计算效率和数据稀缺性等挑战。未来趋势包括架构统一化、增强推理
多模态大语言模型arxiv论文略读（七十九）
Jamence的博客
05-16 1174
➡️ 实验设计：研究团队在多个公开数据集上进行了实验，涵盖了从视觉感知到视觉理解的各种任务，包括弱交互（如封闭集任务）和强交互（如视觉提示+语言提示）任务，以及常见领域和长尾领域（如医疗、遥感、工业）的任务。➡️ 方法简介：AIM框架通过将多模态演示中的图像信息聚合到文本的潜在空间中，生成融合的虚拟标记，以替代原始的图像-文本对。基于这一发现，研究团队提出了一种新的框架AIM，通过将多模态演示中的图像信息聚合到文本的潜在空间中，减少视觉标记的数量，从而提高MLLMs在多模态ICL中的效率和性能。
【NLP】35. 构建高质量标注数据
weixin_48846514的博客
05-19 946
如何构建高质量标注数据？大语言模型背后的那只“看不见的手”
Qwen2-vl原理
01-14
### Qwen2-VL 工作原理解释 Qwen2-VL 是一种多模态预训练模型，旨在处理涉及图像和文本的任务。该模型融合了视觉和语言的理解能力，在输入端接受图文混合数据并生成相应的输出。 #### 处理流程 当给定一张图片以及一段描述性的文字时，Qwen2-VL 能够解析两者之间的关系，并基于此提供合理的回应或分析结果[^1]。具体来说： - **特征提取**：对于输入的每张图片，模型会先利用卷积神经网络(CNN)抽取其空间结构特征；而对于伴随的文字，则采用Transformer架构来捕捉语义信息。 - **跨模态对齐**：接着，通过特定机制使两种不同类型的表征相互匹配，从而实现图像与文本间的有效关联。这一过程通常涉及到注意力机制的应用，使得模型能够聚焦于最相关的部分来进行理解。 - **联合表示构建**：在此基础上，进一步创建一个综合考虑了视觉场景及自然语言表达的整体向量形式，以便更好地支持下游任务的需求。 - **预测生成**：最后一步则是依据所建立起来的知识体系作出推断或是创造新的表述内容，比如回答关于图中物体的问题、描绘未见之景等。 ```python from transformers import AutoModelForVision2Seq, AutoProcessor model_name_or_path = "Qwen/Qwen-VL" processor = AutoProcessor.from_pretrained(model_name_or_path) model = AutoModelForVision2Seq.from_pretrained(model_name_or_path) image_url = "https://example.com/image.jpg" text_query = "What is the main object in this picture?" inputs = processor(image=image_url, text=text_query, return_tensors="pt") outputs = model.generate(**inputs) generated_text = processor.decode(outputs[0], skip_special_tokens=True) print(generated_text) ``` 上述代码展示了如何加载预训练好的Qwen2-VL模型并对指定图片提问的过程。这里使用`transformers`库中的接口简化了操作步骤，方便开发者快速上手尝试[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值