【Transformer】总体解读

目录

一、概述

二、位置编码

三、多头注意力机制

1. 注意力机制

1.1 基本的注意力机制

1.2 在TRM中怎么操作

四、残差和layerNorm 

1. 残差

2. layerNorm 

五、前馈神经网络

---

本文是对B站视频“transformer从零详细解读”的笔记，视频：https://www.bilibili.com/video/BV1Di4y1c7Zm?p=1

一、概述

TRM在做一个什么事情？

transformer包含encoder和decoder

encoder和decoder分别有六个

原论文中transformer模型结构

encoder包含以下三个部分:

二、位置编码

encoder输入部分：

1. Embedding

2. 位置嵌入

为什么需要？

位置编码公式

将词向量和位置编码相加作为模型的输入

引申一下为什么位置嵌入会有用

但是这种相对位置信息会在注意力机制那里消失

三、多头注意力机制

1. 注意力机制

1.1 基本的注意力机制

经典的注意力机制的图，颜色深的表示很受关注，浅的表示不怎么受关注。

1.2 在TRM中怎么操作

原论文中注意力机制的计算公式：

从公式角度来看：拿上面的图片举例子

两个向量越相似，点乘结果越大。

再举个栗子

TRM中的注意力

在只有单词向量的情况下，如何获取QKV？

w通过随机初始化，并训练获得参数。

计算QK相似度，得到attention值

实际代码使用矩阵，方便并行

多头注意力机制

多个头就会有多个输出，需要合在一起输出

四、残差和layerNorm

1. 残差

残差的作用

2. layerNorm

BN效果差，所以不用。（BN这边没看，后面需要补上）

为什么使用layer norm？

理解：为什么LayerNorm 单独对一个样本的所有单词做缩放可以起到效果。

把BN 引申到 RNN

五、前馈神经网络

decoder未学习，后面补上。