Vision Transformer
关注
分享
扫一扫
文章平均质量分 93
收集解读一些最近更新比较快的vision transformer系列的论文，可能也会包含一些MLP的
laizi_laizi
梦想成为工程师，博士在读，可有偿指导本科/硕士毕设，代码辅导debug等
展开
-
最近的vision transformer阅读
vit原创 2022-06-03 17:16:52 · 1374 阅读 · 0 评论 -
MSA,W-MSA和AS-MLP block的计算复杂度公式推导
在AS-MLP里面有这几个公式：首先，这三个名词首先知道是从哪里来的：MSA: Multi-head self-attentionW-MSA: Window multi-head self-attentionAS-MLP:axial shifted MLP然后我们这里说的是计算复杂度，而不是直接的计算量，所以会忽略比如softmax和scale的计算部分。首先明确最简单的矩阵相乘的计算复杂度，可以看下面这张图: NxC的矩阵与CxM的矩阵相乘，计算复杂度为O(NMC)O(NMC原创 2022-05-19 10:15:44 · 3178 阅读 · 4 评论