一文看懂AI的 Transformer 架构！（Transformer 学习指南）

1 AI的转换器是啥？

转换器，一种将输入序列转换或更改为输出序列的神经网络架构。它们通过学习上下文和跟踪序列组件之间的关系来做到这一点。例如，请考虑以下输入序列：“天空是什么颜色的？” 转换器模型会使用内部数学表示法来识别颜色、天空和蓝色这三个词之间的相关性和关系。利用这些知识，它会生成输出：“天空是蓝色的。”

组织可以使用转换器模型进行所有类型的序列转换，包括语音识别、机器翻译以及蛋白质序列分析。

神经网络

AI

2 为啥转换器重要？

早期深度学习模型主要侧重自然语言处理（NLP）任务，旨在让计算机理解和响应自然人类语言。它们根据前一个单词按顺序猜出下一个单词。

为更好理解，考虑手机中的自动完成功能。根据键入单词对的频率提出建议。如经常键入“我很好”，在键入_很_之后，手机会自动提示_好_。

早期机器学习（ML）模型在更广泛的范围内应用类似技术。它们绘制训练数据集中不同单词对或单词组之间的关系频率，并试图猜出下一个单词。然而，早期技术无法保留超过一定输入长度上下文。如早期的 ML 模型无法生成有意义段落，因为它无法保留段落中第一句话和最后一句话之间的上下文。要生成诸如“我来自意大利。我喜欢骑马。我会说意大利语。”等输出，模型需记住意大利和意大利语之间联系，而早期神经网络根本做不到。

转换器模型从根本改变 NLP 技术，使模型能处理文本中的这种长期依赖关系。

转换器的更多好处。

2.1 启用大规模模型

转换器通过并行计算处理整个长序列，这大大减少了训练和处理时间。这使得训练可以学习复杂语言表示的超大型语言模型（LLM）（例如 GPT 和 BERT）成为可能。它们拥有数十亿个参数，可以捕获各种人类语言和知识，并且它们正在推动研究朝着更具通用性的 AI 系统发展。

大型语言模型

GPT

2.2 实现更快的自定义

使用转换器模型，可用RAG技术。这些技术支持为行业组织特定的应用程序自定义现有模型。模型可在大型数据集上进行预训练，然后在较小的特定于任务的数据集上进行微调。这种方法使复杂模型的使用大众化，并消除了从头开始训练大型模型时的资源限制。模型可以在多个领域和不同使用案例的任务中表现良好。

2.3 促进多模态 AI 系统

借助转换器，可将 AI 用于组合复杂数据集的任务。如DALL-E这样的模型表明，转换器可结合 NLP 和计算机视觉，根据文本描述生成图像。借助转换器，可创建集成不同信息类型并更紧密地模仿人类的理解和创造力的 AI 应用程序。

计算机视觉

2.4 人工智能研究和行业创新

转换器创造新一代 AI 技术和 AI 研究，突破 ML 可能性的界限。它们的成功激发了解决创新问题的新架构和应用程序。它们使机器能够理解和生成人类语言，从而开发出增强客户体验和创造新商机的应用程序。

3 转换器使用案例？

可用任何顺序数据（例如人类语言、音乐创作、编程语言等）训练大型转换器模型。

3.1 自然语言处理

转换器使机器能够以比以往任何时候都更准确的方式理解、解释和生成人类语言。它们可以总结大型文档，并为各种使用案例生成连贯且与上下文相关的文本。像 Alexa 这样的虚拟助手使用转换器技术来理解和响应语音命令。

3.2 机器翻译

翻译应用程序使用转换器在不同语言之间提供实时、准确的翻译。与以前的技术相比，转换器极大地提高了翻译的流畅性和准确性。

机器翻译

3.3 DNA 序列分析

通过将 DNA 片段视为类似于语言的序列，转换器可以预测基因突变的影响，了解遗传模式，并帮助识别导致某些疾病的 DNA 区域。这种能力对于个性化医学至关重要，在个性化医学中，了解个体的基因组成可以带来更有效的治疗。

3.4 蛋白质结构分析

转换器模型可处理顺序数据，这使其非常适合对折叠成复杂蛋白质结构的长链氨基酸进行建模。了解蛋白质结构对于药物发现和理解生物过程至关重要。您还可以在基于氨基酸序列预测蛋白质三维结构的应用程序中使用转换器。

4 转换器的工作原理

自 21 世纪初，神经网络一直是各种人工智能任务（如图像识别和 NLP）的主导方法。它们由层互连的计算节点或_神经元_组成，这些节点或神经元模仿人脑并协同工作以解决复杂的问题。

处理数据序列的传统神经网络通常使用编码器/解码器架构模式&