CIT: Content-invariant translation with hybrid attention mechanism for unsupervised change detection

        在遥感领域，变化检测一直是一个基础性但具有挑战性的研究课题，具有深刻的理论意义和广泛的应用价值。在过去的几十年里，深度学习的出现和发展为监督变化检测提供了新的技术支持，并将其准确性提高到了前所未有的水平。然而，由于预标记参考文献的强依赖性和弱可转移性，监督学习模式仍然需要一定程度的人工辅助，这并不适用于所有的变化检测任务。此外，与任何特定的固有属性无关，当发生在不同的土地覆盖类别之间时，变化可能会显示出不稳定和不规则的特征，使其与传统的端到端学习模式不兼容。在这项研究中，我们研究了无监督深度学习模式的利用，并开发了一种新的方法，即内容不变翻译（CIT），用于双时间遥感图像中的无监督变化检测。在该方法中，设计了一个集成对抗性学习算法和混合注意力机制的新框架，以学习从事件前域到事件后域的单侧跨域翻译。在此过程中，一个自关注模块专注于小规模的图像补丁，并确保每对事件前和事件后补丁的内容一致性；同时，一个跨域模块专注于大规模的图像，并确保两组事件后和事件前补丁的风格相似性。翻译后，双时态图像中的风格差异被抑制，而真实内容的变化被突出显示。在三个具有不同类型变化的典型数据集上进行的大量实验在很大程度上验证了我们新提出的CIT的有效性和竞争力。

论文面对的问题        

        由于对预标内容的依赖性和可转移性较弱，监督学习模式仍然需要一定程度的人工帮助，这并不适用于所有变化检测任务。此外，由于与任何特定的固有属性无关，当不同土地覆盖类别之间发生变化时，变化可能表现出不稳定和不规则的特征，使其与传统的端到端学习格式不兼容。

针对性提出的方法

        整合了对抗学习算法和混合注意力机制，并开发了一种基于图像转换的新型方法，即内容不变翻译（CIT），用于遥感图像中的无监督变化检查。

由主要包含内容编码器、样式解码器和样式鉴别器的框架驱动。

        通过自我注意机制，前两种模型旨在从小规模的事件前图像补丁中提取内容特征，并将其从原始领域渲染到事件后领域。

        后一种模型利用交叉注意力机制，旨在评估配对的大尺度翻译图像与事后图像之间的风格一致性。

达到的效果

通过反向平移，这条河更像是另一条路，对后续的变化检测产生了一定的负面影响

        具有季节变化的数据集对变换方向比其他数据集更敏感。对于较小的季节变化，两个方向的图像平移都可以成功实现，但后时相地物的类对比度高于前时相地表。另一方面，对于主要的季节性变化，不幸的是，后时相到前时相的图像转换是错误的。实际上，前时相前图像中没有建筑物（或其表达），因此我们的模型无法学习将建筑物从后时相域映射到前时相的方式。此外，这种反向翻译在密集分布的建筑物和道路之间产生了一定程度的扭曲。

        在本文中，研究了无监督深度学习模式的利用，并进一步开发了一种基于图像转换的新型方法，称为CIT方法，专门用于双相遥感图像中的ucd。集成了对抗学习算法和混合注意力机制，然后设计了一个框架并引入了一个多组件目标。通过自注意力和交叉注意力机制，该框架成功地学会了从事前图像中提取内容特征，并将其从原始域渲染到事后域。在这种片面的跨域翻译过程中，抑制了双时相图像的风格差异，突出了它们之间的内容变化。在三个具有不同类型变化的典型数据集上的实验验证了CIT相对于其他最先进方法的有效性和竞争力。