![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
transformer系列
文章平均质量分 91
transformer系列论文阅读
dear_queen
这个作者很懒,什么都没留下…
展开
-
HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions
近年来,视觉transformer在基于点积自注意的空间建模机制驱动下,在各种任务中取得了巨大的成功。在本文中,我们展示了视觉transformer背后的关键成分,即输入自适应、远程和高阶空间交互,也可以通过基于卷积的框架有效地实现。我们提出了递归门控卷积(gnConv),它执行与门控卷积和递归设计的高阶空间交互。新的运算具有高度的灵活性和可定制性,它兼容各种卷积的变体,并将自注意的二阶相互作用扩展到任意阶,而不增加大量的计算量。gnConv可以作为即插即用模块来改进各种视觉变压器和基于卷积的模型。....原创 2022-08-12 15:54:04 · 3290 阅读 · 1 评论 -
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation(NeurIPS 22)
我们介绍了SegNeXt,这是一种用于语义分割的简单卷积网络体系结构。由于在编码空间信息时自我注意的效率,最近基于Transformer的模型已主导语义分割领域。在本文中,我们证明了卷积注意比Transformer中的自注意机制更有效地编码上下文信息。本文对已有成功分割方案进行了重审视并发现了几个有助于性能提升的关键成分,进而促使我们设计了一种新型的卷积注意力架构方案SegNeXt。原创 2022-09-30 16:30:19 · 1992 阅读 · 1 评论 -
transformer系列论文-Sliced Recursive Transformer
我们发现,对于以分层方式学习视觉数据上更好的表示是非常重要的,正如我们将在实验的图10中介绍的那样。此外,即使是最简单的递归操作,也可以提高利用参数的紧凑性,而无需修改变压器块结构,这与其他 [50、61、24、55、57、37、31、59] 不同,它们会添加更多参数或涉及来自输入的其他细粒度信息 [19]。,并提出了用于降低递归运算复杂性的自我注意方法的近似方法。-我们研究了在视觉变压器中利用切片组自我注意来利用递归操作的可行性,这是建立有效变压器的有希望的方向,并且以前尚未得到很好的探索。原创 2022-10-13 14:55:03 · 521 阅读 · 0 评论