(更新中)论文阅读【Salient Object Detection in the Deep Learning Era: An In-Depth Survey】

本文详尽地调查了深度学习在显著性对象检测(SOD)领域的应用,涵盖网络架构、监督等级、学习范式和对象/实例级检测等多个方面。从多层感知器到全卷积网络,再到混合网络方法,作者分析了各种典型网络结构。此外,还探讨了强监督和无/弱监督方法,以及单任务和多任务学习在SOD中的角色。通过对SOD数据集和评估指标的概述,文章为该领域的研究提供了全面的基准和未来方向。
摘要由CSDN通过智能技术生成

原文链接:https://arxiv.org/abs/1904.09146?context=cs.CV

本文主要对深度学习在显著性检测领域的相关论文、核心期刊以及会议上发表的论文进行了研究调查,形成综述。

【前言】

作为计算机视觉中的一个重要问题,显着性物体检测(SOD)多年来吸引了越来越多的研究工作。SOD的最新进展主要由深度学习型解决方案(名为深度SOD)主导,并由数百篇已发表的论文反映出来。为了促进对深度SOD的深入理解,在本文中,作者提供了一个全面的调查,涵盖从算法分类到未解决的开放问题的等各个方面。首先从不同角度审视深度SOD算法(第二章),包括网络架构、监督级别、学习范式和对象/实例级别检测。之后,总结了主流的SOD数据集(第三章)和评估标准(第四章)。然后,在别人工作的基础上编写了一个覆盖主流SOD方法的全面性能的基准(第五章),并提供详细的测试结果分析。最后讨论了目前显著性检测存在的问题和挑战以及今后可能的研究方向(第六章)。第七章总结。所有显着性预测图、构建的带注释的数据集和评估代码都可以在https://github.com/wenguanwang/SODsurvey上公开获得。

 

目录

【第一章】

【第二章】

2.1 SOD典型网络结构

2.1.1 多层感知器Multi-layer Perceptron (MLP)

2.1.2 完全卷积网络Fully Convolutional Network (FCN)

2.1.3 基于混合网络的方法Hybrid Network

2.2 监督等级

2.2.1 强监督方法

2.2.2 无/弱监督方法(未来导向)

2.3学习范式

2.3.1基于单任务学习(STL)的方法

2.3.2基于多任务学习(MTL)的方法

2.4 对象/实例级SOD

2.4.1 对象级方法

2.4.2 实例级方法(不常见)

【第三章】

3.1 早期SOD数据集

3.2 现代流行的SOD数据集

3.3 其他特殊SOD数据集

【第四章】

4 评估指标


 

【第一章】

        显著性检测(SOD)是为了突出图像中显著的目标区域,不同于起源于认知和心理学研究领域的凝视点预测(预测人眼的下一个关注点是什么,应用于广告投放点、游戏设置等),被广泛应用于不同的领域。如采样应用:图像理解、图像描述生成、目标检测、无监督视频目标分割、予以分割、行人重识别等;计算机图形学中:非真实感渲染、图像自动裁剪、图像重定向、视频摘要等;在机器人领域中:人机交互、目标发现等。

        2015年深度学习的方法首次应用于显著性检测,较好的算法性能使其成为研究的一个转折点。

        显著性检测综述整理:https://blog.csdn.net/qq_32493539/article/details/79530118(程明明论文)

           在本文中,作者对现有的SOD方法和数据集进行了分类研究,还研究了一些重要的但在很大程度上尚未得到充分研究的问题,如SOD中特征的影响,以及SOD模型的鲁棒性和可移植性。对于这些之前没有的研究,作者构建了新的数据集和标记,并在前人研究的基础上推导出baseline(评价算法好坏的参照,benchmark:评价算法好坏的规则)。

           下表是对之前的一些关于显著性检测综述代表性论文总结:

补充:6 RGB-D显著性检测模型(热点研究方向),RGBD = RGB +  Depth Map,如下图所示。主要通过组合深度图的有关深度信息来实现对显著性区域的抽取。四者之间的关联如下图所示。

co-saliency detection模型引入图像间对应约束来找到一个图像组中共同的显著性目标。

video saliency detection模型的目的是定位一个视频序列中具有动作相关性的显著性目标,这个模型同时考虑了运动线索和时空约束。

 

本文主要贡献如下:

1、从网络结构、监督级别、学习范式、对象级/实例级等对现有的深度SOD模型进行分类和总结;

2、提出一种基于属性特征的深度SOD模型性能评价方法(?不理解这个说法  ?程明明提出SOC数据集也是这个说法),并提供了考虑对象类别、场景类别、挑战因素的带标注的属性特征,在此基础上对常用的六种SOD模型的性能进行了评估,并讨论了这些属性特征对不同算法的影响以及深度学习技术带来的改进;

3、加入关于输入扰动影响的讨论,研究了不同类型的图像扰动对六种典型SOD算法的影响,该项研究有望为噪音频繁出现的实际应用提供帮助;

4、首次对SOD模型进行对抗性攻击,并为这一问题的研究精心设计了baseline attack和评估,可以作为未来研究深度SO的模型的鲁棒性和可移植性的baseline;

5、具有代表性的极限模型对现有的SOD数据集进行跨数据集泛化综合研究;

6、对还存在的问题以及未来可能的研究方向进行讨论。

补充:

什么是对抗攻击?

由于机器学习算法的输入形式是一种数值型向量(numeric vectors),所以攻击者就会通过设计一种有针对性的数值型向量从而让机器学习模型做出误判,这便被称为对抗性攻击。

和其他攻击不同,对抗性攻击主要发生在构造对抗性数据的时候,之后该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。在构造对抗性数据的过程中,无论是图像识别系统还是语音识别系统,根据攻击者掌握机器学习模型信息的多少,可以分为如下两种情况:

白盒攻击:攻击者能够获知机器学习所使用的算法,以及算法所使用的参数。攻击者在产生对抗性攻击数据的过程中能够与机器学习的系统有所交互。

黑盒攻击

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值