m0_59312590的博客

原创 Transformer的流程简介（自用）

其中Embedding就表示从原始数据中提出的Feature。Transformer加入了位置的Embedding，因为这对于做NLP是至关重要的（一句话的顺序）。eg:有一段话是：“我有一只猫” 那么输入矩阵将会是如下所示：注： 位置PE(pos)的公式如下：pos 表示单词在句子中的位置，d 表示 PE的维度 (与词 Embedding 一样)，2i 表示偶数的维度，2i+1 表示奇数维度 (即 2i≤d, 2i+1≤d)。