读书笔记：使用Transformers的遥感图像变化检测

赫瑟尔

已于 2022-03-22 13:12:51 修改

阅读量8.2k

点赞数 5

分类专栏：变化检测阅读笔记文章标签： pytorch pycharm 深度学习

于 2022-03-08 15:22:59 首次发布

本文链接：https://blog.csdn.net/qq_42075634/article/details/123353250

版权

本文介绍了使用双时间图像转换器（BIT）进行遥感图像变化检测的研究，结合Transformer编码器和解码器，通过语义分词器在时空域内建模上下文。BIT模型在降低计算成本的同时，超越了纯卷积基线，展现出高效和准确的性能。实验在三个数据集上验证了其有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

读书笔记：Remote Sensing Image Change Detection with Transformers

文章：https://ieeexplore.ieee.org/abstract/document/9491802
代码：https://github.com/justchenhao/BIT_CD
摘要：现代变化检测（CD）通过深度卷积强大的判别能力取得了显着的成功。然而，由于场景中物体的复杂性，高分辨率遥感 CD 仍然具有挑战性。具有相同语义概念的对象可能在不同时间和空间位置表现出不同的光谱特征。最近使用纯卷积的 CD 仍在努力在时空中关联远程概念。非局部自注意力方法通过对像素之间的密集关系进行建模，显示出有希望的性能，但计算效率低下。在这里，我们提出了一种双时间图像转换器 (BIT)，以有效地对时空域内的上下文进行建模。我们的直觉是，兴趣变化的高级概念可以用几个视觉词来表示，即语义标记。为了实现这一点，我们将双时间图像表达为几个标记，并使用转换器编码器在紧凑的基于标记的时空中对上下文进行建模。然后将学习到的上下文丰富的标记反馈到像素空间，以通过转换器解码器精炼原始特征。我们将 BIT 整合到基于深度特征差异的 CD 框架中。在三个 CD 数据集上进行的大量实验证明了所提出方法的有效性和效率。值得注意的是，我们基于 BIT 的模型显着优于纯卷积基线，仅使用低 3 倍的计算成本和模型参数。基于没有复杂结构（例如 FPN、UNet）的朴素主干（ResNet18），我们的模型超越了几种最先进的 CD 方法，包括在效率和准确性方面优于四种最近的基于注意力的方法。