对象级变化检测论文阅读笔记

————————————————————————————————————————————

Object-level change detection with a dual correlation attention-guided detector

————————————————————————————————————————————

最近读到一篇对象级变化检测论文，感觉挺震惊的，因为之前读到的都是像素级变化检测论文，并且这篇论文对于部分细节原理解释的非常清楚，故在此总结一下我阅读该论文的笔记。因为该论文没有开源，且部分网络结构没有进行详细说明，故部分网络结构在此进行省略说明。

一、变化检测

定义

变化检测是通过观察和识别不同时期的物体或现象的状态来检测差异的过程。变化检测的目标是确定感兴趣的特定语义类别的变化信息，同时滤除无关变化信息的干扰。变化检测往往输入的是两幅不同时间配准后的图像对。

注： 变化检测关心的目标是感兴趣的特定语义类别的变化信息，不是两幅图片中只要有变化就要把变化的东西找出来。因为，两幅图像可能因为拍摄时间、角度、传感器等问题会产生噪声，光影变化等这些伪变化，同时有些变化是不感兴趣的变化。例如，在许多情况下，从不同季节获得双时间图像，如下图所示。

“变化”被定义为建筑物和汽车等人造设施的变化，而季节变化被视为干扰因素。

分类

变化检测分为三种类型：1.像素级变化检测、2.对象级变化检测、3.场景级变化检测。
其中场景级变化检测由于不常用到，故在此不做详细介绍，下面简单介绍一下像素级和对象级变化检测的相关内容。

1.像素级变化检测：像素级顾名思义就是检测的目标为图片中的每一个像素，最终呈现的结果是一个差异图，图中每个像素点取值为0或者1（可视化往往*255变成黑白图，白色代表该像素点发生变化，黑色代表该像素点没有发生变化）

2.对象级变化检测：对象级顾名思义就是检测的目标为图片中的某一个具体的语义对象，比如一开始一个地方没有一栋楼，之后有了，对象级变化检测就是要用bounding box或者mask挑选出变化的对象。

上图前两幅图片为输入的两幅要进行变化检测的图像对，第三幅为像素级变化检测最终结果的可视化，第四幅图片为对象级变化检测最终结果的可视化。

像素级和对象级发展现状以及存在的问题

总的来说像素级和对象级发展历程主要是从传统方法到深度学习方法。

现阶段阅读的论文还比较少，该部分后期会继续补充。

1.像素级
传统方法：图像差分、变化向量分析、主成分分析等。
深度学习方法：Siamese encoder + a single decoder
存在的问题：伪变化+伪图像配准+平等性

2.对象级：
传统方法：
深度学习方法：
存在的问题：

二、网络结构

本发明提供一种基于对偶相关注意力的对 象级遥感变化检测方法及系统，进行用于变化检 测的数据增强，生成双输入流；设置共享权重的骨干网络用于接收双输入流，提取双时相影像的 不同尺度特征；设置对偶相关注意力引导的特征 融合颈，关注同尺度的双时相特征在空间层次与通道层次的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间 的特征进行融合；最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化地物的 位置、大小和变化置信度。本发明专用于变化检测的数据增强方法可以加快模型训练与提升模 型性能，经对偶相关注意力机制引导，能有效抵抗影像对中的伪变化干扰，具有较高准确性和鲁棒性。

1.数据增强结构图

作为数据增强的一种方法，该方法作者在后续实验中论证该方法可以提高模型性能。
作者在论文中表示使用这种方法理论上可以减少运行时间，提高模型的鲁棒性，同时然模型能够专注于微小变化。

2.对偶相关注意力模块（DCAM）

(a)为对偶相关注意力模块的总体架构，(b)为空间相关注意力模块的具体架构PCAM，( c )为通道相关 注意力模块的具体架构CCAM，(d)为变化差异模块的具体架构CDM。

PCAM：空间注意力根据当前任务中不同位置的特征的重要性在空间级别对特征进行加权，增强相对重要的空间区域的特征，并抑制不重要的特征。此外，由于卷积运算使用局部信息进行计算，卷积核无法获得全局信息。使用更大的卷积核或更深的网络结构可以在一定程度上扩展感受野，但它们也增加了计算开销。通过空间尺度上的自我注意机制对长距离依赖关系进行建模可以有效地扩展感受野。为了进一步提高模型的性能，一些研究通过并行或串行方法将空间注意力和通道注意力结合起来。

CCAM：网络的深度（即层数）决定其表达能力。有些网络更深入，在某些条件下具有更具代表性的能力。网络的宽度（即网络各层中的信道数）决定了网络中的信息量，通道注意通过建模每个特征通道的重要性来提高模型的表达能力，然后它增强或抑制各种任务的不同通道。

CDM：元素级加法和级联是通常用于融合不同特征的两种操作，尽管在某些特殊情况下，这两种操作可以相互转换。然而，在大多数情况下，级联直接拼接不同的特征，使得网络可以自适应地学习特征的融合方法，这不会造成额外的信息损失，但增加了计算量。在元素相加中，默认情况下，不同特征在后续计算中具有相同的权重，这会导致某些信息损失，但不会增加计算量。因此，在本研究中，我们在需要融合不同特征的大多数情况下执行级联。此外，低层特征包含更多的空间信息，高层特征包含更多语义信息。因此，为了避免低层特征中的噪声干扰，我们仅使用权重共享主干中的C3-C5特征发送到相关注意力引导特征融合颈部进行后续检测。

3.Change detection heads

变化检测头被分为三层，即检测头S、检测头M和检测头L，它们对应于改进的PAFPN的N3-N5层特征。这些头部基于监督信息学习改变对象的位置和改变的置信度。在不同尺度检测头中，对应尺度的差异特征通过卷积核大小为1的卷积层，并将差异特征的通道数压缩为每个检测头锚定数的5倍。然后，并行执行变化置信度预测Conf变化和坐标预测（x，y，w，h）。细节如图1中的变化检测头部分所示。对于检测头，锚用于快速有效地学习变化对象边界框的回归。默认情况下，每个检测头上的锚数量为3。锚的宽度和高度通过训练集中所有地面真相盒的k均值聚类获得。

4.损失函数

三、实验结果

1.数据预处理

由于现阶段常见的变化检测数据集均对应像素级变化检测，所以作者在这里对数据集进行了预处理：利用算法框选出差异图上的变化区域。

2.实验结果

实验结果论文中写的比较清楚，这里不详细说明。

四、参考文献

主要参考文献为该论文的中文专利，如有需要中文专利PDF版，评论联系。