Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model

SAM显著性检测模型本文特点:1、相比之前做显著性检测的模型,本文最大的特点是采用了neural attentive mechanism这种机制是什么意思,给出原文的解释(自己不太明白): Machine attention [16] is a computational paradigm which aims to compute an output as a weighted sum of
摘要由CSDN通过智能技术生成

SAM显著性检测模型

本文特点:

1、相比之前做显著性检测的模型,本文最大的特点是采用了neural attentive mechanism

这种机制是什么意思,给出原文的解释(自己不太明白):

Machine attention [16] is a computational paradigm which aims to compute an output as a weighted sum of different parts of the input, by selectively attending to different parts of the input itself via a compatibility function

人眼的选择性注意机制大概是经过类似全局扫描非常快速的决定大概的需要关注的位置之后,依次的看下一个感兴趣的物体,而看的顺序是由重要性决定(可以认为是显著性程度),本文类似引入这种显著性程度引导saliency map的修正。(个人理解)

2、除此之外,人眼观察图像时是有中心偏置的(更倾向于观察图像中心的部分),这在一定程度上是由于收集数据时人眼位于图像正中间的位置,本文显式的学习一种中心偏置,而不是人为提供。且与之前的一篇学习偏置的方法不同(ML-net),两篇论文是同一个作者。

3、在损失函数上做了一定的改进

如下,有一张模型对比图:

这里写图片描述

网络细节:

结构图:

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1. 显著点的检测 Itti的A Model of Saliency-Based Visual Attention for Rapid Scene Analysis (TPAMI 1999)论文是显著性检测的鼻祖论文,检测出来的是用户关注的点。 2. 显著区域的检测 侯晓迪同学在2007年发表的一篇CVPR的论文,用很简单的方法检测显著性区域,那之后显著性检测主要以区域检测为主:Saliency detection: A spectral residual approach (CVPR 2007),虽然之后有人诟病这篇论文有不足之处,但该想法简单,推动了显著性研究的普及。侯同学靠这一篇文章再加上投稿期间的趣事,就封神了。 3. 其他经典的显著性检测方法 在那之后陆续又有一些经典的显著性检测算法被提出:https://blog.csdn.net/touch_dream/article/details/78716507 可以看这个博文。 4. 基于深度学习显著性检测 再之后,显著性检测领域就进入了Deep Learning时代, Deep Visual Attention Prediction TIP2018 (CODE)     https://github.com/wenguanwang/deepattention Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model (CODE)     https://github.com/marcellacornia/sam CVPR2016 Shallow and Deep Convolutional Networks for Saliency Prediction (CODE)     https://github.com/imatge-upc/saliency-2016-cvpr Saliency Detection with GAN (2017)     https://github.com/imatge-upc/saliency-salgan-2017  (CODE)     https://github.com/batsa003/salgan/ (PyTorch的版本) 5. 非自然图象的显著性检测 例如,海报的显著性检测,图表的显著性检测,地理数据的显著性检测等等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值