论文阅读——Multi-Content Complementation Network for Salient Object Detection in Optical Remote Sensing

为什么要看这篇

这篇论文和ACCoNet的作者一样，在ACC那篇论文中数据扩容我看有用到边缘数据集的扩容，但是在ACC那篇里没有用到，实际上是在这篇用到的

基本信息

期刊	IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
年份	2022
论文地址	https://ieeexplore.ieee.org/abstract/document/9631225
代码地址	https://github.com/MathLee/MCCNet

标题

光学遥感图像显著目标检测的多内容互补网络

目前存在的问题

1. NSIs的获取与光学RSIs有很大的区别。光学型rsi是由卫星和航空传感器拍摄的，所以光学型rsi的对象类型、尺度、光照、成像方向和背景都与nsi有本质的不同

改进

1. 我们提出了一种MCCM来探讨光学rsi在显著区域感知中多内容特征的互补性。同时利用了前景、边缘和背景以及全局图像级内容

网络结构

我们从原特征中生成前景、边缘、背景和全局图像级特征，并探讨它们之间的互补性

MCCM(Multi-Content Complementation Module)

前景和边缘
考虑到VGG-16的ft e相对粗糙，我们首先对ft e进行通道关注，以减少冗余信息
通过空间注意同时得到前景图和边缘图，表示为{at f, at e}
前景图是通过自适应方式生成的，而边缘图是通过学习方式生成的，即在训练阶段在边缘ground truth的监督下生成
由于前景图和边缘图都与显著区域相关，并且可以相互补充，所以我们使用元素级求和将它们聚合在一起，得到前景边缘图

背景
背景图的生成与前景边缘图密切相关。通过反向注意得到背景图

全局图像级内容
我们在ft e上采用空间全局平均池化，将全局分布信息极度压缩成像素，得到基本的图像级特征，并进行1 × 1卷积层进行特征平滑。然后，我们使用双线性插值的上采样重构图像级别的内容到与原始ft e相同的大小。这样粗糙的操作会丢失大量的细节信息，但重构后的特征可以反映源特征的整体色调。通过串接直接整合信道级图像级内容不同，我们将重构后的图像级内容压缩成一个优雅的响应图

多内容聚合
通过上述彻底的操作，我们得到了四种内容的特征，ft fe, ft b, ft g，并使用3 × 3卷积层进一步打磨，得到fˆt fe, fˆt b, fˆt g。然后，我们使用自适应串联卷积运算对它们进行聚合。另外，我们采用短连接的方式保留原有内容，生成MCCM ft MCCM∈Rht×wt×ct的输出特征

损失函数

BCE+IOU+F-m(感知度量损失)

训练

ORSSD和EORSSD，batchsize为8，初始学习率为1e-4，30个epoch后除以10

测试

ORSSD和EORSSD

另一个写的好的参考

网址1
网址2

我的总结

整个网络集合前景，边缘，背景，全局信息的特征信息