transformer(1)：transformer模型架构解读

一、Transformer组件介绍

Transformer 架构包含编码层与 Transformer 模块两个核心组件 :

编码层

主要是将输入词序列映射到连续值向量空间进行编码，每个词编码由词嵌入和位置编码构成，由二者加和得到：

1）词嵌入（patch embedding)，在 Transformer 架构中，词嵌入是输入数据的第一步处理过程，它将词映射到高维空间中的向量，可以捕获词汇的语义信息，如词义和语法关系。每个词都被转化为一个固定长度的向量，然后被送入模型进行处理。

2） 位 置 编 码（positional embedding）， 由 于 自 注 意 力 机 制 本 身 对 位 置 信 息 不 敏 感，为了让模型能够理解序列中的顺序信息，引入了位置编码。标准Transformer 架构的位置编码方式是使用正弦和余弦函数的方法。

Tr