摘要
以往大多数的变化检测模型计算成本高昂难以应用,基于此,本文提出了一种轻量化的网络A2Net。考虑到移动网络的表征能力较弱,设计了一个邻居聚合模块( NAM )来融合骨干网附近阶段的特征,以加强时间特征的表征能力。然后,提出了一个渐进式变化识别模块( PCIM ),用于从双时相特征中提取时间差异信息。此外,设计了一个监督注意力模块( SAM )来对重加权特征进行有效的聚合,从高层到低层的多层次特征。
模型架构
总述:该网络主干网络采用了轻量化的MobileNetV2来提取双时相特征,从stage1到stage5得到五个层级的特征图,对孪生网络的后四个层级的特征图经过NAM(合并主干相邻阶段的时间特征,以增强它们的特征表示能力)模块做差,得到后四个层级的差分特征图。四个层级的差分特征图分别经过PCIM模块(从双时相特征对应的特征层面捕获时间变化信息),与经过SAM模块(改善细节特征)的前一层级特征进行相加最后输出变化图,label分别与前三个层级的SAM模块结果和输出的变化图算Loss。
NAM模块:三个层级的特征图进行特征融合,中间层及的特征图与特征融合的块经过卷积相加得到结果特征图。
PCIM模块:使用一系列空洞卷积和残差链接进行多尺度特征学习。类似于自注意力机制?
SAM模块:特征金字塔网络[ 26 ]为多层次特征融合提供了一种由粗到精的经典架构。然而,更高层的特征缺乏上下文引导,容易产生大量噪声,难以进行多层次的信息聚合。在这里,本文引入SAM来重新校准特征,以实现更好的多层次特征融合。首先将特征图经过11卷积在经过sigmoid将变化图区间转换为【0,1】再进行图像取反,这时得到了变化图
c
3
c_{3}
c3和反向变化图
c
r
3
cr_{3}
cr3,使用一个1 × 1的卷积层从
c
3
c_{3}
c3和
c
r
3
cr_{3}
cr3中生成与
d
3
ˉ
\bar{d_{3} }
d3ˉ 形状相同的像素注意力掩膜
a
3
a_{3}
a3(Cat之后经过11卷积),之后将
a
3
a_{3}
a3与输入特征进行逐元素相乘后在经过3*3卷积得到模块输出特征。