Transformer 称霸的原因找到了？OpenAI 前核心员工揭开注意力头协同工作机理

在过去的两年里，人工智能在自然语言处理领域的突破达到了惊人的水平。很多重要的突破都是基于谷歌在 2017 年提出的 Transformer 架构。

但在模型之下，我们仍然不知道 Transformer 对其处理的单词做了什么。从普遍的理解来看，它们能够以某种方式关注多个单词，从而可以立即进行「全局」分析。但这究竟是如何做到的，或者这种说法是否是理解 Transformer 的正确方式，都还不清楚。我们知道「成分」，但却不了解「配方」。

现在，Anthropic 公司的研究人员进行的两项研究试图从根本上探究 Transformer 在处理和生成文本时会做什么。Anthropic 公司成立于 2021 年 5 月，团队主要由一批前 OpenAI 核心员工组成，致力于提高 AI 的安全性及可解释性。

第一篇论文发表于 2021 年的 12 月，作者着眼于架构的简化版本，并充分解释了它们的功能。以色列理工学院的 Yonatan Belinkov 表示：「这些简化架构很好地描述了 Transformer 在非常简单的情况下是如何工作的。我对这项工作非常感兴趣。它很有趣，同时很有前途，也比较独特和新颖。」