论文阅读笔记
文章平均质量分 94
big_hm
这个作者很懒,什么都没留下…
展开
-
一些可用于RVS的论文笔记
论文笔记原创 2022-12-09 23:22:11 · 324 阅读 · 2 评论 -
Fully Attentional Network for Semantic Segmentation
论文阅读笔记原创 2022-07-21 10:49:29 · 349 阅读 · 0 评论 -
When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanis
注意力机制并不是ViT必不可少的部分。提出将注意力机制简化为zero FLOP and zero parameter,具体来说是重新讨论了移位操作shift operation,它不包含任何参数或者算术计算,唯一的操作是再相邻特征之间交换一小部分通道。基于这种操作提出一种新的backbone, shiftViT。......原创 2022-06-08 19:31:59 · 522 阅读 · 0 评论 -
How Do Vision Transformers Work
引入从CNN的角度来看,MSA可以看成是一种特殊的卷积变换,它作用在整个feature map上,具有大尺寸的核参数,因此MSA应该具有卷积操作的基础能力。但是MSA的长距离依赖建模能力对于模型预测性能的提升,本文作者提出了反对意见,作者认为给予模型适当的距离约束可以帮助模型学习更鲁棒的表示,例如一些局部建模MSA的工作,CSAN和SwinTransformer都仅在小窗口内计算自注意力,不仅在小数据集上表现优异,而且在大型数据集例如Imagenet-21K上达到了更好的性能。基于此,作者提出了针对MSA原创 2022-05-14 18:49:40 · 1208 阅读 · 0 评论