论文阅读——Edge-Aware Multiscale Feature Integration Network for Salient Object Detection in Optical

为什么要看这篇

这篇是老师发的，主要是用来解决遥感显著性检测的边缘问题

基本信息

期刊	IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
年份	2022
论文地址	https://ieeexplore.ieee.org/abstract/document/9964115
代码地址	https://github.com/Kunye-Shen/EMFINet

标题

光学遥感图像边缘感知多尺度特征集成网络的显著性目标检测

目前存在的问题

现有的光学RSI显著性模型在描述显著性对象时忽略了精细边缘或边界细节的影响，而预测的显著性映射往往具有低质量的边界细节。同时，为了解决粗边界问题，现有的自然图像显著性模型么只将边缘信息部署到显著性推理阶段，要么将其嵌入到损失函数中

改进

1. 我们利用边缘模块将低层次和高层次的深度特征结合起来，得到丰富的显著边缘特征，并利用这些显著边缘特征显式地丰富多尺度的深度特征;另一方面，在损耗计算中，引入了包含边缘感知约束的混合损耗，将精细边缘信息隐式地注入到显著性映射中
2. 解码器即深度特征聚合模块，通过一组卷积和上采样操作，将丰富的多尺度深度特征由粗到细进行整合，生成结构完整、细节清晰、边界准确的高质量显著图

网络结构

输入是三个不同分辨率的光学遥感图像，编码器用于提取多尺度深度特征，解码器用于以由粗到细的方式聚合多尺度深度特征

级联的特征融合模块试图减轻由显著对象的尺度多样性引起的障碍(也就是上图紫色虚线框选的区域)

边缘模块为橙色实体框

Multiscale Feature Extraction模块(多尺度特征提取模块)
我们首先通过因子2和因子4对原始图像I1进行下采样，生成另外两个图像{I2，I3}。然后，具有不同分辨率的三个图像{I1，I2，I3}被传递到具有相同结构的三个并行卷积分支，随后，为了聚合这三个深度语义特征，我们部署了一个级联特征融合模块

Salient Edge Extraction and Integration模块(显著边缘的提取与融合模块)
浅层特征能够描述丰富的空间细节，如边缘信息，而深层特征试图捕捉语义知识

联合低级和高级深度特征以生成显著边缘线索E，首先使用上采样或下采样操作将显著边缘线索E的大小调整为与多尺度深度特征相同的大小，从而产生对应的显著边缘线索{Ej }，j=1。这里，第j个边缘线索Ej具有与第j个深度特征F¹ j相同的空间大小，并且对应的采样率sr ^j被设置为2^|j−2|.然后，传递Ej以与多尺度深度特征集成

特别的，为了扩大感受野并捕获强大的全局上下文，我们添加了桥接模块，如下图所示

Deep Feature Aggregation模块(深度特征聚合)

损失函数

BCE+IOU+SSIM

训练

ORSSD，EORSSD都进行了数据增强，学习率10e-4，epoch为130

测试

ORSSD，EORSSD

我的总结

这篇论文先对图像做了2个不同下采样，形成3个不同的路径，选取3个不同路径的最后一层特征，进行特征聚合，形成最后一个特征F5，再将原图像的前四层特征和最后一层特征送入后续的边缘改进模块，边缘改进模块在最后一层的特征中使用了一个桥模块，桥模块相当于过了并行的四个不同大小的空洞卷积，以扩大感受野并捕获强大的全局上下文