![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
IMC学习笔记
文章平均质量分 95
CUCKyrie
中国传媒大学智能媒体计算实验室IMC硕士研究生
展开
-
Vision Transformer学习笔记
由于在之前的文章中已经详细解读过Transformer的架构,ViT中的Transformer没有任何变动,因此重点讲述ViT对图像专门设计的方法。认为这个Token在不断的执行注意力计算的过程中,是可以学习到整个图像的全局信息的,并且只需要将这个Token送入后续的下游任务,即可取得十分出色的效果。我们再回到Transformer类中,在完成了Transformer Encoder的定义后,最后需要定义一个分类头,即一个简单的MLP即完成了对Transformer的定义过程。原创 2024-08-14 16:16:57 · 709 阅读 · 0 评论 -
Transformer学习笔记
Transformer是一个完全依赖注意力(Attention)的模型,最开始主要应用在NLP的翻译任务中,主要的革命对象是RNN为代表的序列模型。不同于传统RNN模型,模型在ttt时刻只能利用到t−1t-1t−1时刻的历史信息,Transformer的注意力计算方式一次可以关注到所有的输入信息,因此具备更出色并行计算能力,这对于深度学习训练而言是十分有效的。Transformer由Encoder和Decoder两个模块组成,Encoder负责接收一个batch的输入序列[b,n,c][b, n, c][原创 2024-08-04 13:39:42 · 929 阅读 · 0 评论