Transformer简介

前言

本文简单介绍了Transformer的基本结构和工作原理。

---

一、Transformer的基本结构

Transformer由编码器（Encoder）和解码器（Decoder）组成，每个编码器和解码器都包含多层自注意力机制和前馈神经网络。自注意力机制允许模型处理输入序列中的依赖关系，无论它们之间的距离有多远。通过堆叠多个编码器和解码器，Transformer可以捕捉更复杂的特征并生成高质量的输出。

二、为什么Transformer使用位置编码（Positional Encoding）？

由于Transformer模型本身不包含循环或卷积结构，它无法捕捉序列中的位置信息。因此，需要额外的位置编码来提供每个位置上的信息，以便模型能够区分不同位置的输入元素。

三、多头自注意力机制的作用

多头自注意力机制允许模型在不同子空间上同时捕捉信息，从而增强了对输入序列的表达能力。每个头关注输入序列的不同部分，然后将它们的结果拼接起来，以获得更全面的特征表示。

参考文献

https://blog.csdn.net/Vulcan_S/article/details/136810587