Object-level change detection with a dual correlation attention-guided detector

大多数基于深度学习的变化检测都在在像素级别水平上进行的，但是不能避免有强视差影响和物体投影造成的错误变化。本文中提出object—level change detection，可以识别出变化的物理实体如（新建造的建筑物），通过更多的关注变化对象实例的上下文联系和全部特性。在数据处理的过程中采用了Alternative-Mosaic进行数据增强，我们提出了一个dual correlation attention—guided detector（DCA-Det），发现变化物体。

1.Alternate-Mosaic

用于变化检测的模型应该满足不受影响性和同等性，不受影响性体现在当双时图像的颜色，光亮以及其他方面发生变化不会引入其他的兴趣变化，网络仍然能输出不变的变化结果。equality指的是交换变化前后图像，有相同的变化检测结果。

Alternate-Mosaic方式如下：

1.选择四对不同区域的双阶段图像从训练集中。然后随机交换这四对图像（随机交换每一对中的图像）。

2.组成pre-image 和post-image

3.对组成的图片之一进行增强，包括几何变化（裁剪，缩放，平移，方砖，旋转），光照变化，增加高斯噪声，颜色变化

为了增加样本空间而不引入错误的变化，对另一幅图片进行相同的几何变换。此外，为了尽可能地扩大两幅图像之间的差异，而不引入额外的错误变化，保证了网络的泛化和鲁棒性，其他图像不执行其他相应的变换。

2.整体框架

首先将双时图像输入通过共享权重的backbone，获取不同尺度的特征，将同尺度特征通过Dual Correlation attention-guided feature fusion neck由correlation attention module（DCAM）和refined PAFPN 组成，DCAM来获取同尺度在空间层次和通道层次的相关性，refined PAFPN细化差异特征。最终将不同尺度的特征图输入到不同类型的检测头，最终输出的是边界框和变化置信度。为了避免低层噪声干扰，仅使用c3-c5层。

2.1 DCAM模块

2.1.1 PCAM(Position-correlated attention module)

空间注意模块计算Fa，Fb特征图，得到的（w*h）（w*h）描述的是Fa特征图中每个点和Fb特征图中每个点之间的权重关系，通过softmax再和Fa，Fb相乘得到差异图，此目的是增强相对重要的空间区域特征，抑制不重要的特征

2.1.2 CCAM(通道注意力模块)

通道注意模块计算Fa，Fb特征图，得到的c*c描述的是Fa特征图中每个通道和Fb特征图中每个通道之间的权重关系，提高某个通道的表达能力，抑制不重要的通道表达能力。提高通过softmax再和Fa，Fb相乘得到差异图。

2.1.3 CMD

2.2 Correlation Attention-guided Feature Fusion Neck

首先要了解FPN的概念，FPN是特征金字塔，FPN提出如下图所示：

图a对原始图像构造金字塔（针对不同尺度的目标，将图片缩放为不同尺度）将每个尺度的图片进行预测目标，计算量很大。

图b是利用卷积和池化操作，得到最终的特征图，并对最终的特征图进行预测，缺点是对小目标检测较为困难。

图c在每一层进行预测，在不同层上输出对应的目标，不需要经过所有层才能输出目标，获得的特征全是弱特征（都是从较浅层获得的）

PAFPN:

高层的特征具有较强的语义信息，低层具有更多的空间信息（能提供更加准确目标位置信息），这样的操作可以让高层特征较强的语义信息融入到低层特征，使得底层也具有较强的语义信息。

2.3 Change detection heads

三层变化检测头，s,m,l 分别接受来自refined Pafpn N3-N5. 这些头在基于监督学习的基础上学习到变化物体的位置和变化置信度。将输入的特征图通过1×1的卷积层，将通道维数变为每个检测头锚数的五倍。文中anchor的高宽通过k-means聚类算法得到。k-means算法聚类对象是bounding box（经过回归后的bounding box，更加接近真实物体），将所有的bounding boxes选择k个作为anchors，计算boundingbox距离每个anchor的距离，将bounding boxes分为k个类，并取每个类的高宽中值作为新的anchor的高宽。直至不再发生变化。设置anchor可以加速变化物体bounding box的回归。每个检测头并行输出变化置信度和预测坐标变化（x,y,w,h）

3.1 Dateset annotation conversion

变化检测数据集大多只提供像素级别的数据，物体级别的注释很少有 ，因此将像素级别转换为物体级别的标注。步骤如下：

1.像素级标注图中的白色区域，得到这些连通区域的轮廓。

2.利用每个区域的轮廓生成最小的封闭矩形。

3.变化对象的边界标签有得到的最小封闭矩形的坐标计算。

消融实验

 

可以看到由三个变化检测头输出的结果图e-g，s，m头能更好的发现中小目标，m，l头可以返现中等，大的目标。