为什么要看这篇
这篇论文和ACCoNet的作者一样,在ACC那篇论文中数据扩容我看有用到边缘数据集的扩容,但是在ACC那篇里没有用到,实际上是在这篇用到的
基本信息
期刊 | IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING |
---|---|
年份 | 2022 |
论文地址 | https://ieeexplore.ieee.org/abstract/document/9631225 |
代码地址 | https://github.com/MathLee/MCCNet |
标题
光学遥感图像显著目标检测的多内容互补网络
目前存在的问题
- NSIs的获取与光学RSIs有很大的区别。光学型rsi是由卫星和航空传感器拍摄的,所以光学型rsi的对象类型、尺度、光照、成像方向和背景都与nsi有本质的不同
改进
- 我们提出了一种MCCM来探讨光学rsi在显著区域感知中多内容特征的互补性。同时利用了前景、边缘和背景以及全局图像级内容
网络结构
我们从原特征中生成前景、边缘、背景和全局图像级特征,并探讨它们之间的互补性
MCCM(Multi-Content Complementation Module)
前景和边缘
考虑到VGG-16的ft e相对粗糙,我们首先对ft e进行通道关注,以减少冗余信息
通过空间注意同时得到前景图和边缘图,表示为{at f, at e}
前景图是通过自适应方式生成的,而边缘图是通过学习方式生成的,即在训练阶段在边缘ground truth的监督下生成
由于前景图和边缘图都与显著区域相关,并且可以相互补充,所以我们使用元素级求和将它们聚合在一起,得到前景边缘图
背景
背景图的生成与前景边缘图密切相关。通过反向注意得到背景图
全局图像级内容
我们在ft e上采用空间全局平均池化,将全局分布信息极度压缩成像素,得到基本的图像级特征,并进行1 × 1卷积层进行特征平滑。然后,我们使用双线性插值的上采样重构图像级别的内容到与原始ft e相同的大小。这样粗糙的操作会丢失大量的细节信息,但重构后的特征可以反映源特征的整体色调。通过串接直接整合信道级图像级内容不同,我们将重构后的图像级内容压缩成一个优雅的响应图
多内容聚合
通过上述彻底的操作,我们得到了四种内容的特征,ft fe, ft b, ft g,并使用3 × 3卷积层进一步打磨,得到fˆt fe, fˆt b, fˆt g。然后,我们使用自适应串联卷积运算对它们进行聚合。另外,我们采用短连接的方式保留原有内容,生成MCCM ft MCCM∈Rht×wt×ct的输出特征
损失函数
BCE+IOU+F-m(感知度量损失)
训练
ORSSD和EORSSD,batchsize为8,初始学习率为1e-4,30个epoch后除以10
测试
ORSSD和EORSSD
另一个写的好的参考
我的总结
整个网络集合前景,边缘,背景,全局信息的特征信息