课程三学习笔记:视觉问题中的注意力机制
1. Vision Transformer回顾
图像只有变为Seq2eq格式,才能输入到Transformer中去。因此,lmage ——Patch(Image Token)——Patch Embeddings
Embedding定义:从低维到高维的映射。
2. Attention注意力机制
《 Attention is All You need 》论文:“在单个序列中使用不同位置的注意力,用于实现该序列的表征方法”。
Attention是用来学向量表征的。
Eg:it不仅仅用自身的向量表示,还要用其他不同位置的向量表示。每一个单词都可以看到该句话中不同位置的信息(不光看自己,还要看别人)。通过Attention机制,模型可以学到语义信息,并且判断单词是什么意思。
Original RNN存在的问题:每一个输入都对应一个输出,导致输入输出长度必须一致。
为了解决Many to many的问题,提出RNN Seq2seq: