论文笔记 - Disentangle Saliency Detection into Cascaded Detail Modeling and Body Filling

最新推荐文章于 2024-09-19 07:56:49 发布

再吃一颗苹果cc

最新推荐文章于 2024-09-19 07:56:49 发布

阅读量3k

点赞数

分类专栏：显著性目标检测文章标签：计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/qq_41994821/article/details/124102417

版权

显著性目标检测专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了一种新颖的级联显著性检测方法，通过先细化细节图再填充主体，有效解决边缘预测难题和多尺度对象检测不足。提出多尺度注意力模块增强特征融合，混合损失优化细节和主体图。实验结果显示，新方法在六个数据集上取得顶尖性能。

摘要由CSDN通过智能技术生成

Disentangle Saliency Detection into Cascaded Detail Modeling and Body Filling

将显着性检测分解为细节级联和主体填充

论文地址:https://arxiv.org/pdf/2202.04112.pdf
代码地址:暂无
发表刊物:TOMM 2022

摘要长期以来，显着对象检测一直被研究用于识别图像/视频中最具视觉吸引力的对象。最近，已经提出了越来越多的方法，所有这些方法都依赖于轮廓/边缘信息来提高检测性能。边缘标签要么直接放入损失中，要么用作额外的监督。边缘和身体也可以分开学习，然后融合。这两种方法要么导致边缘附近的高预测误差，要么无法以端到端的方式进行训练。另一个问题是，由于缺乏有效和有效的特征融合机制，现有方法可能无法检测到各种大小的对象。在这项工作中，我们建议将显着性检测任务分解为两个级联的子任务，即细节建模和身体填充。具体来说，细节建模侧重于通过监督由嵌套在边缘和边缘附近的像素组成的显式分解细节标签来捕获对象边缘。然后身体填充学习将被填充到细节图中的身体部位，以生成更准确的显着图。为了有效融合特征并处理不同尺度的对象，我们还提出了两种新颖的多尺度细节注意和身体注意模块，用于精确的细节和身体建模。实验结果表明，我们的方法在六个公共数据集上实现了最先进的性能。引言

现存问题:

对象边缘附近的像素具有非常不平衡的分布，这使得这些像素比非边缘像素更难预测。当像素接近对象边界时，现有的显着性检测模型通常会得到较大的预测误差;
大多数显着性检测方法在编码器-解码器框架上建立模型，并开发不同的策略来聚合多尺度特征以获得更好的表示。然而，由于缺乏有效的融合机制来整合多尺度或多层次的特征，生成的显着图可能无法准确地预测不同尺度的物体。

主要贡献:

我们提出了一种新颖的级联显著性检测框架，该框架首先生成对象的细节图，然后通过用身体图填充细节图来生成准确的显着性图。所提出的框架降低了直接预测整个显著图的难度，并且可以以端到端的方式进行有效的训练。
我们提出了两个新颖的多尺度注意力块，它们可以在多个尺度上专注地融合多个特征，以生成精确的细节和身体图。我们还建议使用混合损失设置，专门针对细节和身体图并相互补充。
我们提出的模型在四个广泛使用的指标下，在六个基准数据集上针对 10 个最新的最先进方法实现了最先进的性能。还进行了广泛的消融研究以证明每个提议模块的有效性。

模型

模型简介:
在这里插入图片描述

细节标签:
原始显著区域中的每个像素由其到对象边界的最小距离定义。𝐸（𝑝，𝑞）表示与显着像素𝐺（𝑝，𝑞）具有最小欧几里得距离的显著边缘点。
在这里插入图片描述

多尺度细节注意力模块(Multi-scale Detail Attention Modeling):
模型包括三个多尺度细节关注块(MDAB)
)
在这里插入图片描述

多尺度主体填充(Multi-scale Body Attention Filling):
MBAB于MDAB类似. 每个MBAB吸收三个流，包括来自主干网络的特征流、来自细节编码器的细节流和来自前一个块的主体流。这个过程可以表示为：
在这里插入图片描述

通过三个MBAB模块后最终的预测图 $S=S_{detail}+S_{body}$ .
细节损失函数:
细节模块损失函数: $l_{detail}=l_{CE}(S_{detail,}G_{detail})+l_{SSIM}(S_{detail,}G_{detail})$ .
第一项是常用的交叉熵损失，第二项是结构相似性损失，它强制细节解码器关注边缘。
在这里插入图片描述
𝜇𝑥、𝜇𝑦和𝜎𝑥、𝜎𝑦是图像的均值和标准差,𝐶1 和 𝐶2 是小的正常数，我们将它们设置为 0.0001和 0.0009 以避免除零。