SETR
摘要
大多数语义分割方法采用了一个带有编码器-解码器结构的全卷积网络(FCN)。编码器逐渐降低空间分辨率,并通过更大的感受野学习更抽象/语义的视觉概念。由于上下文建模对于分割至关重要,最近的努力集中在通过扩张/压缩卷积或引入注意模块来增加感受野。但是,基于编码器-解码器的FCN架构保持不变。在本文中,我们旨在通过将语义分割视为序列-序列预测任务。具体来说,我们设计了一个pure transformer(即没有卷积和分辨率降低)来将图像编码为一系列patch。随着全局上下文信息在transformer的每一层建模,这个编码器可以结合一个简单的解码器来提供一个强大的分割模型,称为SEgmentation TRansformer (SETR)。大量实验表明,SETR在ADE20K (50.28% mIoU)、Pascal Context (55.83% mIoU)上实现了最先进的性能,并在Cityscapes上取得了有竞争力的结果。特别是,我们在提交当天就获得了竞争激烈的ADE20K测试服务器排行榜的第一名。
介绍
自将全卷积网络用于语义分割以来,语义分割模型一直被基于完全卷积网络(FCN)主导。一个标准的FCN分割模型有一个编码器-解码器结构:编码器用于特征表示学习,而解码器用于编码器产生的特征表示的像素级分类。编码器由堆叠的卷积层组成,特征图的分辨率逐渐降低,编码器能够以逐渐增加的感受野学习更多的抽象/语义视觉概念。
优点:translation equivariance:尊重了成像过程的本质,支持了模型对看不见的图像数据的泛化能力
局部性:通过跨空间共享参数来控制模型的复杂性。
缺点:感受野有限,难以学习无约束场景图像中的语义分割的长期依赖信息。