Transformer 是一种基于注意力机制的序列到序列模型,它不像传统的递归神经网络那样基于循环连接的隐藏层,而是使用了多个注意力层来学习序列之间的关系。
这里是 Transformer 的结构图:
在上图中,输入序列经过嵌入层后会传入若干个 Transformer 层,每个 Transformer 层中包含了多个注意力层和前馈层。然后输出序列会被输出到输出层进行分类或者翻译。
更多有关 Transformer 的细节可以参考论文 "Attention Is All You Need" (https://arxiv.org/abs/1706.03762)。