#每天一篇论文# 237/365 动态语义关联网络的语义回归(建立语义之间的关系)

Dynamic Context Correspondence Network for Semantic Alignment

摘要

建立语义对应关系是计算机视觉中的一个核心问题，由于类内变化大、缺少标注数据等原因，语义对应关系的建立一直是一个挑战。在本文中，我们的目标是以一种灵活的方式合并全局语义上下文，以克服以往依赖于局部语义表示的工作的局限性。为此，我们首先提出了一种上下文感知的语义表示，该语义表示结合了空间布局，以实现对局部歧义的鲁棒匹配。在此基础上，我们提出了一种基于注意机制的动态融合策略，通过整合多尺度的语义线索，将局部特征和上下文特征结合起来。我们设计了一个端到端可学习的深层网络，称为动态上下文对应网络（dccnet），来实现我们的策略。为了训练网络，我们采用多辅助任务丢失来提高弱监督学习过程的效率。我们的方法在几个具有挑战性的数据集（包括pf-pascal、pf-willow和tss）上取得了优于以往方法的性能或竞争性，证明了它的有效性和通用性。

贡献

在语义对应问题中，我们提出了一种上下文感知的语义表示方法来产生针对重复模式和局部歧义的鲁棒匹配。
•我们开发了一种新的基于注意机制的动态融合策略，以集成多层次的特征表示。
据我们所知，在语义对应任务中，我们首先自适应地将上下文空间信息与局部外观结合起来。
•我们设计了一个多辅助任务损失，以规范弱监督语义对应任务的训练过程，并在公共基准上取得优异或有竞争力的绩效。

方法

我们首先介绍了一种上下文感知的语义表示，它将外观特征与自相似模式描述相结合，使我们能够利用空间布局线索捕获全局语义上下文。此外，我们还提出了一种基于像素的注意机制，该机制动态地结合了来自局部特征和上下文感知语义特征的相关映射。该方法的核心思想是通过动态融合多个空间尺度的信息来减少匹配模糊度，同时提高定位精度。具体来说，我们开发了一个新的动态上下文对应网络（dccnet），它由三个主要模块组成：空间上下文网络、相关网络和注意融合网络。给定一对输入图像，我们首先使用主干cnn计算它们的卷积（conv）特征。

实验