Transformer 小白学习笔记

一、Transformer的由来

针对传统时序网络（RNN，LSTM），首先RNN的记忆长度有限，因此产生了LSTM。但无论是RNN还是LSTM，它们的计算都无法并行化（即只能先计算t0时刻的数据，再计算t1时刻的数据，可以简单理解为前一步的输出是后一步的输入），计算效率不高；基于此Transformer闪亮登场，解决了传统时序网络无法并行化计算的问题。

二、注意力机制

在介绍Transformer之前，需要补充一下关于注意力机制的问题：

注意力机制的灵感来源于人类的视觉系统，即在处理信息时，人会把自己的注意力更多地集中在感兴趣的地方，比如你看一篇文章，第一眼看过去你可能更多地把目光集中在文章的题目上，或者作者署名等等这些地方。又或者你看到迎面走来一个穿着很亮眼的人，那你的目光可能就会更多地集中在他的衣着上，这就是人类的视觉注意力机制。

在深度学习中，注意力机制允许模型在处理输入序列时，对不同位置的信息分配不同的权重，从而使模型更加关注重要的部分，这有利于提高模型的性能，特别是在处理长序列或者复杂关系的任务中。