Meta悄咪咪的发布多款AI新模型

大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型重新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。

Meta 的基础 AI 研究 （FAIR） 团队发布了一些最新的AI模型，包括可以处理和生成多模态文本和图像的 Chameleon、Multi-token prediction模型以及文本到音乐模型JASCO。

Chameleon于之前介绍过，可以点击链接查看。与大多数的大型语言模型不同，多模态变色龙可以处理文本和图像的任意组合作为输入，也可以处理文本和图像的任意组合作为输出。Meta 在非商业许可下发布 7B 和 34B 变体，仅用于研究目的。

在Chameleon之前不久，Meta还展示了一种开发更好、更快的大型语言模型的新方法：multi-token prediction。该团队能够证明，在训练 AI 语言模型时，多Token预测可以提高性能、连贯性和推理能力。Meta 正在发布用于在非商业许可下完成代码的预训练模型，仅用于研究目的。

multi-token prediction在训练过程中，该模型通过共享中继和 4 个专用输出头同时预测 4 个未来令牌。在推理过程中，只使用下一个标记输出头。可选地，其他三个磁头可用于加快推理时间。

在推理过程中，所提出的架构的最基本用途是使用下一个标记预测头，同时丢弃所有其他标记。但是，可以利用额外的输出头来加速从下一个标记预测头进行解码，这里主要使用自推测解码方法，例如分块并行解码 (Stern，2018) 等算法。

举个简单的例子，假如正确的序列是12345ABC，下图显示，multi-token prediction损失函数为结果Token分配了更高的隐式权重，其中除“5 → A”之外的所有转换都易于预测。

由于“5 → A”会比较困难过度且难以预测，因此通过其相关“3→ A”、...、“5→ C”这种多头的校正将会更加顺利。

通过multi-token prediction，与传统的模型相比，13B参数模型在 HumanEval 上解决的问题 12%，在MBPP上多解决 17%。另一个好处是，使用 4个标记预测训练的模型在推理时速度提高了3倍，即使批量大小也是如此。

除此之外还发布了文本到音乐的模型JASCO。除了文本之外，它还接受各种输入，例如和弦或节拍，以改善对生成的音乐输出的控制。

借助AudioSeal，Meta发布了一种音频水印技术，即使在较长的音频片段中也可以识别和标记 AI生成的语音。与其他方法相比，据说该方法的速度要快 485 倍。AudioSeal 根据商业许可发布。