大模型系列——论文解读：multi-token prediction

最新推荐文章于 2025-04-10 10:14:14 发布
最新推荐文章于 2025-04-10 10:14:14 发布
阅读量1.8k 收藏 16
点赞数 25
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012599545/article/details/144510878
版权

在这项工作中，我们建议训练语言模型来预测多个未来的标记，同时导致更高的样本效率.

更具体地说，在训练语料库中的每个位置，我们要求模型使用n个独立的输出头预测以下n个标记，在共享模型主干上操作。将多token预测作为一种辅助训练任务.

模型越大，该方法越有用，与类似的13B参数模型相比，我们的13B参数模型在HumanEval上解决了12 %的问题，在MBPP上解决了17 %的问题。作为一个额外的好处，使用4标记预测训练的模型在推理方面，即使是大批量，也要快3×。

（上）在训练过程中，该模型通过一个共享的主干和4个专用的输出头，同时预测4个未来的令牌。在推理过程中，我们只使用下一个令牌输出头。可选地，其他三个头可以用来加速推理时间。（下）多标记预测改进了MBPP代码任务上的pass@1，随着模型大小显著增加。误差条是通过对数据集样本的引导计算出的90%的置信区间

我们认为，训练llm同时预测多个令牌将推动这些模型获得更好的样本效率。

Contributions

（1）我们提出了一个简单的多令牌预测架构，没有train time or memory 开销

（2）我们提供了实验证据，表明这种训练模式在大规模上是有益的，多达13B个参数的模型平均多解决约15%的代码问题

（3）多令牌预测可以实现自我推测译码，使模型在不同批次的推理时间上更快3倍

，是一种有效的改进，可以训练更强、更快的transformer models

最低0.47元/天 解锁文章
confiself
关注
【AI 天才研究院】DeepSeek R1 核心技术原理之 ：MTP（Multi-Token Prediction，多token预测）机制
AI天才研究院
02-09 1558
初始映射：将 Transformer 隐状态hth_tht​经过下投影和非线性变换得到初始预测隐向量zt1z_{t,1}zt1​。逐步递归预测：利用上一预测隐向量与预测 token 的嵌入，经过线性映射和非线性激活生成后续预测隐向量ztlz_{t,l}ztl​l2Ll2L概率生成：将每一步隐向量通过输出投影生成 token 的概率分布，并计算对应的交叉熵损失。联合损失：将所有预测步的损失平均后作为整体 MTP 损失LMTPLMTP​进行反向传播优化。
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
TigerZ*的博客
01-08 6593
AIGC（MLLM、VLM、LLM、SD）系列，论文解读目录。快速找到你想要的论文。
推理加速trick之：Multi-Token Prediction(MTP)
ningyanggege的博客
01-20 1592
是一种用于加速推理的技巧，特别适用于自回归模型（autoregressivemodels）的生成任务。传统自回归解码：生成文本时，模型逐个token地生成，每个token的生成都依赖于之前生成的结果。这种方法尽管准确，但非常慢，因为每次生成都需要进行完整的前向计算。：通过推测未来的多个token，提前生成一部分候选结果，然后在这些候选结果中进行验证或修正，从而减少逐步生成的次数。通过预测多个token提供更密集的训练信号，提高上下文建模能力，从而提升模型性能。
一文搞懂DeepSeek核心技术-MTP（Multi-Token Prediction）
皮先生的博客
04-08 2020
MTP 的核心思想是让模型一次性预测多个 token，以提升模型的训练效率、生成质量和推理速度。模型不仅要学习预测下一个 token 的能力，还需要同时具备预测下 n 个token的能力。
Meta更低的训练成本取得更好的性能: 多token预测(Multi-Token Prediction)
Hofong1966的博客
05-09 1983
多token预测是一种简洁而强大的语言模型训练范式。通过预测多个token,它能学到更丰富的上下文信息。同时并行化程度高,训练高效。
DeepSeek 细节(3)之 MTP（Multi-Token Prediction）
m0_38031488的博客
02-28 600
当前主流的 LLM 主要采用 Decoder-only 为基础的模型结构。这意味着无论是在训练还是推理阶段，序列的生成都是逐个 token 进行的。在生成每个 token 时，模型需要频繁地进行访存操作，加载 KV Cache，往往成为训练或推理过程中的瓶颈。通过优化解码阶段，可以将单个 token 的生成转变为多个 token 的生成，从而提升训练和推理的性能。具体而言，在训练阶段，通过一次生成多个后续 token，可以同时学习多个位置的标签，从而提高样本的利用效率和训练速度。
Deepseek爆火背后的多Token技术预测
simoncool23的博客
01-29 1839
多Token预测是一种优化语言模型生成效率的技术，核心思想是让模型在每次推理时同时预测多个后续词元，例如一次性生成3到5个token，而非逐一生成。这种方法通过改变模型的架构和训练方式，让它能够更高效地处理长文本。简单来说，多Token预测就像让模型“一口气”说出更多内容，而不是一个字一个字地蹦。
LLM 系列——BERT——论文解读
TigerZ*的博客
02-28 1536
BERT是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身旨在提供一个预训练的基础权重。
[论文解读]CPLLM：使用大型语言模型进行临床预测CPLLM: Clinical Prediction with Large Language Models 数据集eICU、MIMIC 3等EHR数
强化学习曾小健
03-17 1829
我们提出了使用大语言模型进行临床预测（CPLLM），这是一种对预先训练的大语言模型（大语言模型）进行微调以进行临床疾病预测的方法。我们利用量化并根据提示对大语言模型进行微调，其任务是利用患者的历史诊断记录来预测患者在下次就诊或随后的诊断中是否会被诊断出目标疾病。我们将我们的结果与各种基线进行了比较，包括Logistic 回归、RETAIN 和 Med-BERT，这是使用结构化 EHR 数据进行疾病预测的当前最先进的模型。
《深入浅出多模态》（九）多模态经典模型：MiniGPT-v2、MiniGPT5
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 717
本文文章主要介绍 MiniGPT-v2、MiniGPTv5等改进模型， MiniGPT-v2模型以ViT视觉主干为基础，所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记，并通过线性层将它们投影到 LLaMA-2语言模型空间中。对多模态模型进行指令集微调，通过不同的instruction来实现不同的任务。 MiniGPTv5则使用了 Stable Diffusion 2.1 和多模态模型 MiniGPT-4 作为文本到图像生成模型。可以根据文本描述生成高质量、高分辨率的图片。
「DeepSeek-V3 技术解析」：多词元预测技术（Multi-Token Prediction, MTP）
最新发布
Baihai_IDP的博客
04-10 1202
此外，该技术可与推测解码（speculative decoding）结合，在推理时，MTP module 并行生成草稿词元，main model 通过单次前向传播验证并修正，凭借 85%-90% 的高接受率实现 1.8 倍的推理加速。在文献 [2] 中，作者尝试通过 MTP 技术预测未来的 2 个词元（token），并将其与推测解码相结合，结果发现第二个词元预测的接受率约为 85%~90%，这表明其 MTP 策略的生成质量稳定可靠。在本实验中，MTP module 在推理时被完全丢弃，因此推理时间无差异。
【Module】多令牌预测（Multi-Token Prediction, MTP）
麦格芬230的博客
02-05 388
训练时 MTP 模块提供额外训练信号，优化主模型参数，使其学习到更丰富语义和依赖关系，推理时即便丢弃 MTP，主模型能力已提升。：去除 MTP 模块可降低推理计算量，避免潜在干扰，使主模型更专注高效推理。
【有啥问啥】DeepSeekV3中的MTP（Multi-Token Prediction）：提升大模型性能的利器
Chauvin的博客
02-10 1793
MTP（Multi-Token Prediction）技术通过在训练阶段一次性预测多个token，显著提升了大模型的训练效率和推理性能。它不仅能够提高样本的利用效率，加速模型的收敛，还能够增强模型对长距离依赖关系的学习能力。Meta和DeepSeek的实践案例充分证明了MTP的有效性和实用性，为大模型的优化提供了新的思路和方法。
DeepSeek-V3报告解读
m0_47867638的博客
01-15 1365
DeepSeek-V3实现多token预测的方式主要通过引入**多token预测（Multi-Token Prediction, MTP）**目标来增强模型的性能。
DeepSeek-R1模型架构解析：从上下文长度到多令牌预测
ytt0523_com的博客
04-02 841
DeepSeek-R1的输入上下文长度为128K。它从其基础模型DeepSeek-V3-Base继承了这一128K的上下文长度。最初，DeepSeek-V3使用4K上下文长度进行预训练。随后，借助YaRN技术，通过两阶段的上下文长度扩展，先将其提升到32K，再进一步提升到128K。YaRN（Yet another RoPE extensioN method）是一种用于有效扩展使用旋转位置嵌入（RoPE）的大型语言模型（LLM）上下文窗口的技术。
多模态嵌入工具：Multi-Token 指南
gitblog_00031的博客
06-12 294
多模态嵌入工具：Multi-Token 指南 multi_token Embed arbitrary modalities (images, audio, documents, etc) into large language models. 项目地址: http...
Meta提出多token模型，开启人工智能的新起点，或将彻底改变当前主流的模型训练方法！
07-30 1208
Meta 提出了一种新颖的训练 LLMs 的方法，这种方法在进行模型训练时同时预 测多个 token，而不是传统的每次预测一个token 的方法。这种多 token 模型不仅 将文本生成速度提高了三倍，而且还提高了模型的智能性，MBPP 和 HumanEval 等编码基准的卓越性能证明了这种方法的有效性。新的架构包括额外的输出头， 允许模型在进行预测时考虑后续标记的上下文，从而产生更加连贯和上下文适当 的输出。
多模态融合新纪元：multi_token 项目深度探索
gitblog_00888的博客
09-11 846
多模态融合新纪元：multi_token 项目深度探索 multi_token Embed arbitrary modalities (images, audio, documents, etc) into large language models. ...
Multi-Horizon Time Series Forecasting with Temporal Attention Learning
小蚂蚁与大象
06-10 736
我们提出了一种新的数据驱动的方法来解决multi-horizon probabilistic forecasting tasks ，预测未来视界上时间序列的全部分布。我们说明隐藏在历史信息中的时间模式在长时间序列的准确预测中发挥着重要作用。传统方法依赖于手动设置时间依赖性来探索历史数据中的相关模式，这在根据真实数据预测长期序列方面是不现实的。相反，我们建议明确学习用深度神经网络构建隐藏模式表示，并关注历史的不同部分来预测未来。在本文中，我们提出了一种端到端的深度学习框架，用于多视域时间序列预测，通过时间注意
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值