Transformers as SVM（2023 NIPS）

论文标题	Transformers as Support Vector Machines
论文作者	Davoud Ataee Tarzanagh, Yingcong Li, Christos Thrampoulidis, Samet Oymak
发表日期	2023年08月01日
GB引用	> Davoud Ataee Tarzanagh, Yingcong Li, Christos Thrampoulidis, et al. Transformers as Support Vector Machines[J].NeurIPS, 2023. > [1]Davoud Ataee Tarzanagh, Yingcong Li, Christos Thrampoulidis, et al. Transformers as Support Vector Machines[C]//NeurIPS 2023 Workshop on Mathematics of Modern Machine Learning, 2023.
DOI	10.48550/arXiv.2308.16898

摘要

本文研究了自注意力机制在优化过程中的几何特性，并将其与硬间隔支持向量机（SVM）问题建立了正式联系。通过分析梯度下降优化过程，证明了自注意力机制在无正则化条件下收敛于核范数最小化的SVM解，而直接参数化为W时，则收敛于Frobenius范数最小化的SVM解。此外，文中探讨了过参数化如何促进全局收敛，并提出了一个更广泛的SVM等价模型来预测非线性头下的隐式偏差。这些发现有助于理解多层变压器作为分层最大间隔令牌选择机制的工作原理。

全文摘要

这篇论文探讨了Transformer模型中自注意力层的优化几何与支持向量机（SVM）问题之间的联系。作者证明了一层Transformer模型在梯度下降下优化时会倾向于找到一个最小化核范数或Frobenius范数的支持向量机解，并且提出了一个更一般的SVM等价性来预测具有非线性头/多层感知器的1层Transformer模型的隐式偏差。此外，作者还验证了他们的发现通过全面的数值实验，并提出了未来的研究方向和开放问题。这些结果提供了一个新的视角，将多层Transformer解释为一系列分离和选择最优标记的支持向量机。

研究问题

• Transformer中注意力层的优化几何结构与硬边际 SVM 问题的优化有何关系？
• 如何刻画Transformer的优化景观和隐式偏差？
• 梯度下降如何影响具有线性和非线性预测头的单层Transformer中令牌的选择和组成？

研究方法

方法描述

本文提出了一种基于最大间隔（max-margin）问题的优化理论框架来研究注意力机制（attention mechanism）在自然语言处理（NLP）中的应用。该框架将注意力模型视为一个线性分类器，并将其与支持向量机（SVM）联系起来。通过这种方法，作者可以对注意力模型的优化过程进行全面的理论分析，并提供了一些新的见解。

方法改进

相比于以往的研究，本文的主要贡献在于提出了一个新的最大间隔问题的优化理论框架，用于解释注意力模型的优化过程。此外，该框架还提供了对于注意力模型的表达能力和学习过程的深入理解。

解决的问题

本文解决了注意力模型的优化过程和表达能力方面的几个关键问题。具体来说，作者通过将