Big Model Weekly 第9期

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

1. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads

在大型语言模型（LLMs）中，推理过程通常受制于自回归解码过程中缺乏并行性，导致大多数操作受限于加速器的内存带宽。虽然提出了类似推测解码的方法来解决这个问题，但由于获取和维护单独的草稿模型所涉及的挑战，它们的实施受到了阻碍。本文提出了一种称为MEDUSA的高效方法，通过在推理过程中添加额外的解码头来增强LLM推理，以并行预测多个后续标记。利用基于树的注意机制，MEDUSA构建多个候选延续，并在每个解码步骤中同时验证它们。通过利用并行处理，MEDUSA在单步延迟方面只引入了最小的开销，同时大幅减少了所需的解码步骤数。作者提出了两个级别的MEDUSA微调程序，以满足不同用例的需求：MEDUSA-1：MEDUSA直接在冻结的骨干LLM之上进行微调，实现了无损推理加速。MEDUSA-2：MEDUSA与骨干LLM一起进行微调，提高了MEDUSA头部的预测精度和更高的加速度，但需要一个特殊的训练配方来保留骨干模型的能力。此外，作者提出了几个扩展，以改进或扩展MEDUSA的效用，包括用于处理无训练数据情况的自蒸馏和用于提高接受率同时保持生成质量的典型接受方案。本文在不同大小和训练程序的模型上评估了MEDUSA。实验证明，MEDUSA-1可以在不影响生成质量的情况下实现超过2.2倍的加速，而MEDUSA-2进一步提高了加速度至2.3-3.6倍。

关键词：

Large language models，MEDUSA，Multiple subsequent tokens

文章链接：

https://arxiv.org/abs/2401.10774

作者：普林斯顿大学

2. Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models

尽管多语言模型在非英语自然语言处理中很受欢迎，但由于模型参数之间的跨语言竞争，它们通常表现不及单语言模型。本文提出了跨语言专家语言模型（X-ELM），通过在多语言语料库的子集上独立训练语言模型，来缓解这种竞争。这个过程使X-ELMs专门用于不同的语言，同时作为多语言集合保持其有效性。实验证明，当具有相同的计算预算时，X-ELM在所有考虑的语言上均优于联合训练的多语言模型，并且这些收益可以传递到下游任务。X-ELM在性能改进方面提供了额外的好处：可以迭代地添加新的专家，使X-ELM适应新语言而不会发生灾难性遗忘。此外，训练是异步的，减少了多语言训练的硬件要求，实现了多语言建模的民主化。

关键词：

Cross-lingual expert language models，Multilingual modeling，Large language models

文章链接：

https://arxiv.org/abs/2401.10440

作者：华盛顿大学

3. Pruning for Protection: Increasing Jailbreak Resistance in Aligned LLMs Without Fine-Tuning

大型语言模型（LLMs）容易受到“越狱”提示的攻击，这是一种可以诱使这些模型生成有害和非法内容的攻击类型。本文展示了通过剪枝高达20%的LLM参数，可以显著提高它们对此类攻击的抵抗力，而无需额外的训练，并且不会损害它们在标准基准测试中的性能。有趣的是，作者发现剪枝后观察到的增强安全性与模型的初始安全性训练水平相关，暗示剪枝的效果可能更加普遍，并且可能适用于超出安全性范围的其他LLM行为。此外，本文引入了一个由225个有害任务组成的策划数据集，跨五个类别插入到十个不同的越狱提示中，显示剪枝有助于LLMs集中注意力于越狱提示中与任务相关的标记。最后，实验证明，备受关注的聊天模型，如LLaMA-2 Chat、Vicuna和Mistral Instruct，对越狱攻击具有很高的敏感性，某些类别的成功率几乎达到70-100%。这些见解突显了剪枝作为一种通用方法，用于提高LLM的安全性、可靠性，以及可能的其他期望行为。

关键词：

Large language models，Post-pruning，Safety and generality of mModels

文章链接：

https://arxiv.org/pdf/2401.10862.pdf

作者：麻省理工学院

4. APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference

对于大型语言模型（LM）进行微调和推理通常被认为是昂贵的。通过对预训练LM进行参数高效微调，可以通过更新少量LM参数来减少训练内存，但并不提高推理效率。结构化剪枝通过移除一致的参数块来提高LM推理效率，但通常会增加训练内存和时间。为了提高训练和推理效率，本文引入了APT，该方法可以自适应地剪枝和调整LM的参数。在微调的早期阶段，APT动态地添加突出的调整参数，以实现快速准确的收敛，同时丢弃不重要的参数以提高效率。与基线相比，实验表明，当剪枝RoBERTa和T5模型时，APT在保留40%参数的情况下能够保持高达98%的任务性能，同时保持了LLaMA模型的86.4%的性能，并且保留了70%的参数。此外，APT可以将LM的微调速度提高多达8倍，并将大型LM的内存训练占用减少多达70%。

关键词：
Large language models，Adaptive pruning and tuning，Fine-tuning and inference

文章链接：
https://arxiv.org/abs/2401.12200

作者：华盛顿大学

5. West-of-N：Synthetic Preference Generation for Improved Reward Modeling

在语言模型对齐中，基于人类反馈的强化学习（RLHF）的成功在很大程度上取决于潜在奖励模型的质量。本文提出了一种新颖的方法，通过生成合成偏好数据来改善奖励模型的质量，从而增加训练数据集中的on-policy、高质量偏好对。受语言模型训练中最佳N采样策略的有希望结果的启发，作者将其应用于奖励模型训练。这导致了一种通过在给定查询的响应池中选择最佳和最差的候选者来生成偏好对的自我训练策略。经验上，作者发现这种方法可以提高任何奖励模型的性能，效果与添加相似数量的人类偏好数据相当。这项工作为改善语言模型对齐的RLHF开辟了新的研究途径，通过提供合成偏好生成作为解决奖励建模挑战的方案。

关键词：

Reinforcement learning from human feedback，Large Language Models，Reward models

文章链接：

https://arxiv.org/abs/2401.12086

作者：谷歌

6. Spotting LLMs With Binoculars：Zero-Shot Detection of Machine-Generated Text

现代大型语言模型生成的文本很难检测，因为LLMs和人类都可以展示各种复杂的行为。然而，我们发现，基于对比两个密切相关的语言模型的得分在区分人类生成和机器生成的文本方面具有高度准确性。基于这种机制，本文提出了一种新颖的LLM检测器，只需使用一对预训练的LLMs进行简单计算即可。该方法名为Binoculars，在没有任何训练数据的情况下实现了最先进的准确性。它能够在不进行任何模型特定修改的情况下，从一系列现代LLMs中发现机器文本。文章在多种文本来源和不同情况下对Binoculars进行了全面评估。在广泛的文档类型范围内，Binoculars在0.01%的误报率下能够检测到ChatGPT（以及其他LLMs）生成的样本中超过90%，尽管没有接受任何ChatGPT数据的训练。

关键词：

Binoculars，Large language models，Zero-Shot Detection

文章链接：

https://arxiv.org/pdf/2401.12070.pdf

作者：马来西亚大学

7. AutoRT：Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

融合语言、视觉，以及最近引入的动作的基础模型已经彻底改变了利用互联网规模的数据来推理有用任务的能力。然而，训练具有实体基础的基础模型的一个关键挑战是缺乏基于物理世界的数据。本文提出了AutoRT，这是一个利用现有基础模型来扩展操作机器人在完全未见过的场景中部署的系统，而只需最少的人工监督。AutoRT利用视觉语言模型（VLMs）进行场景理解和基础，进一步利用大型语言模型（LLMs）提出多样化和新颖的指令，供一群机器人执行。通过利用基础模型的知识来引导数据收集，使AutoRT能够有效地推理自主权和安全性之间的权衡，同时大大扩展机器人学习的数据收集。作者展示了AutoRT向超过20个机器人提出指令，跨越多个建筑物收集了77,000个真实机器人剧集，同时通过远程操作和自主机器人策略。文章通过实验证明，AutoRT收集的这种“野外”数据显着更加多样化，并且AutoRT使用LLMs允许机器人按照人类偏好执行指令。

关键词：

Foundation models，Vision-language models，Large language models

文章链接：

https://arxiv.org/abs/2401.12963

作者：谷歌

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1700多位海内外讲者，举办了逾600场活动，超700万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看更多！