【视频显著性检测】Revisiting Video Saliency: A Large-scale Benchmark and a New Model【论文笔记】

最新推荐文章于 2023-03-13 10:42:08 发布
最新推荐文章于 2023-03-13 10:42:08 发布
阅读量1.1k 收藏 3
点赞数 2
分类专栏： S 文章标签： VIdeo Saliency
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38682454/article/details/88530234
版权
本文介绍了针对视频显著性检测的研究进展，包括建立一个包含丰富场景的大型数据集，以及提出结合注意力机制的CNN-LSTM网络模型。数据集由17名观察者标注的1k份视频组成，确保了自由观看的显著性检测。网络模型利用VGG-16和Attention Model捕捉帧间信息，并通过ConvLSTM进行记忆和平滑转移。此外，论文探讨了数据集的中心偏差、多样化的损失函数和注意力模块的设计策略。
摘要由CSDN通过智能技术生成

论文链接

该论文主要内容有两点：

一、建立了包含场景更加丰富的数据集，

二、提出了一个结合注意力机制的CNN-LSTM网络，作为视频显著性检测模型。

 

数据集：已有的一些数据集，要么数量太少，要么场景单一，且annotation获取时是由任务驱使的不是自由观看的。【显著性检测的是free view时人眼的凝视点】。我们建立了一个场景更加丰富的数据集，共1k份视频，由17名观察者标注完成。

网络模型：网络结构如图，每一帧图片输入到VGG-16【去掉全连接】的网络中，然后一段接Attention Model，另一端直接连接，，输出如左图，将注意力模块的输出与原输出相加，以保证不丢失有用的信息，从而得到每一帧的动态特征图。将每一帧的动态特征图输入到ConvLSTM中，通过记忆之前帧的显著性图像，指导当前帧的显著性图像，从而保证帧间的注视点平滑转移。

有意思的点&#

最低0.47元/天 解锁文章
千草幽幽
关注
专栏目录
论文翻译：Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations
CSPhD-winston的博客
07-24 985
本文重新审视了自然语言处理领域中关于分布外（OOD）鲁棒性的研究。我们发现，先前研究中的分布偏移设置通常缺乏足够的挑战，阻碍了对OOD鲁棒性准确评估。为了解决这些问题，我们提出了一种基准构建协议，确保清晰的区分和具有挑战性的分布偏移。然后我们介绍了BOSS，一个用于分布外鲁棒性评估的基准测试套件，涵盖5个任务和20个数据集。基于BOSS，我们对预训练语言模型进行了一系列的实验，分析和评估OOD鲁棒性。首先，对于普通的微调，我们检查了分布内（ID）和OOD性能之间的关系。
论文笔记：Revisiting Temporal Modeling for Video Super-resolution（重新审视视频超分辨率的时间建模） Part1 系咁嘅啦
Arsenal_ZHQ的博客
12-13 987
视频超分辨率在监控视频分析和超高清视频显示中起着重要的作用，在研究界和工业界都引起了广泛的关注。尽管已经提出了许多基于深度学习的VSR方法，但是由于不同的损失函数和训练数据集对超分辨率结果有重大影响，因此很难直接比较这些方法。在这项工作中，我们仔细研究和比较了三种时间建模方法（具有早期融合的2D CNN，具有缓慢融合的3D CNN和递归神经网络）来实现视频超分辨率。**==我们还提出了一种新颖的递归残差网络（RRN），以实现有效的视频超分辨率，其中利用残差学习来稳定RNN的训练并同时提高超分辨率性能。==
基于图像和视频上的显著性目标检测总结
librahfacebook的博客
02-18 6586
本文主要对SOD领域内的主要模型方法、数据集、评估方法和数据集做了一定的总结报告，部分内容源自于相关论文和网站博客内容。
视频显著性检测----《Flow Guided Recurrent Neural Encoder for Video Salient Object Detection》
ReaFly的博客
07-18 1558
本文将重点与大家探讨和分享发表于CVPR2018上的视频显著性检测文章–《Flow Guided Recurrent Neural Encoder for Video Salient Object Detection》，在讨论之前，先带领大家简单回顾一下什么是显著性检测，目前图片显著性检测的常用方法，以及将显著性检测从图片过渡到视频有哪些不同点或难点，希望可以给像我一样刚接触显著性检测...
【论文阅读】：NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding
qq_36627158的博客
08-25 1125
NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding （2019 TPAMI） Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, Ling-Yu Duan, and Alex C. Kot Note 论文链接：https://arxiv.org/pdf/1905.04757.pdf Github：https://github.com/shahroud
干货 | 视频显著性目标检测（文末附有完整源码）
gzq0723的博客
04-29 6478
显著性检测近年来引起了广泛的研究兴趣。这种日益流行的原因在于在各种视觉任务(如图像分割、目标检测、视频摘要和压缩等)中有效地使用了这些模型。显著性模型大致可分为两类：人眼...
视频显著性－论文１：Consistent Video Saliency Using Local Gradient Flow Optimization and Global Refinement
郡主的博客
05-14 1185
论文下载
显著性检测论文阅读整理
sheng4204的博客
06-25 3863
1. Visual Saliency Based on Multiscale Deep Features 原文链接：https://arxiv.org/pdf/1503.08663.pdf 翻译：https://blog.csdn.net/weixin_40740160/article/details/89005994 题目：基于多尺度深度特征的视觉显著性 作者：Guanbin Li，Yi...
SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning 论文笔记
qq_30146937的博客
04-13 1556
前言 目前大多数小样本学习器首先使用一个卷积网络提取图像特征，然后将元学习方法与最近邻分类器结合起来，以进行图像识别。本文探讨了这样一种可能性，即在不使用元学习方法，而仅使用最近邻分类器的情况下，能否很好地处理小样本学习问题。 本文发现，对图像特征进行简单的特征转换，然后再进行最近邻分类，也可以产生很好的小样本学习结果。比如，使用DenseNet特征的最近邻分类器，在结合均值相减（mean sub...
Video Saliency Detection 文献学习及代码解读（二） TASED-Net
Forrest97的博客
08-12 1473
2019年ICCV发表的论文 Kyle Min Jason J. Corso University of Michigan 摘要 个人觉得写得挺中规中矩，就介绍了模型的特点，即在DHF1K, Hollywood2, and UCFSports.数据集上表现亮眼。 Introduction 这一段介绍研究意义不错 Video saliency detection aims to model the gaze fixation patterns of humans when viewing a dynamic
[2021]Rethinking RGB-D Salient Object Detection : Models, Data Sets, and Large-Scale Benchmarks
m0_58702532的博客
04-15 3522
动机 在现实世界人类活动场景中使用 RGB-D 对 SOD 建模的努力相对较少。 作者认为，并非深度图中的所有信息都能为 SOD提供信息，低质量的深度图通常会引入显著的噪声。
视频显著性　论文研读
郡主的博客
05-13 879
视频方面的论文关键词【辨析】：时空saliency视频显著性saliency map视频物体分割视频目标检测VID视频前景分割视频图像的动态目标图像分割方法读的相关论文和博客ILSVRC2016目标检测任务回顾——视频目标检测（VID）...
视频显著性检测
ReaFly的博客
03-23 736
1.《Motion Guided Attention for Video Salient Object Detection》 ——CVPR 2019
论文笔记-LSHTC: A Benchmark for Large-Scale Text Classification-2015
lingpy的博客
07-18 610
关于LSHTC更多介绍见官网 文章目录titleabstractdatasetLSHTC数据集介绍LSHTC1LSHTC2LSHTC3 & LSHTC4评估方法References(论文提到的算法的论文) title LSHTC: A Benchmark for Large-Scale Text Classification abstract LSHTC is a series of ...
视频显著性检测-----Predicting Video Saliency using Object-to-Motion CNN and Two-layer Convolutional LSTM...
weixin_30922589的博客
12-04 267
帧内显著性检测： 将卷积网络的多层特征进行组合通过unsampling 得到粗显著性预测； 帧间显著性检测： （粗检测结果+新卷积网络的特征图，最后+之前卷积网络的卷积特征输入到LSTM中）进行预测。。 视频目标分割： https://www.jiqizhixin.com/articles/2017-10-06 转载于:https://www.cnblogs.com/fan...
【Paper】CVPR13_Learning video saliency from human gaze using candidate selection
kiki天朗晴空的博客
12-20 575
Learning video saliency from human gaze using candidate selection_CVPR2013 从人眼目光中使用候选集选择的方式学习视频的显著性
[2015]Consistent Video Saliency Using Local Gradient Flow Optimization and Global Refinement
XUERUFENG的博客
05-30 419
本文提出了一种时空显著性检测方法，基于梯度流场和能量优化函数来检测视频中的显著区域。所提出的梯度流场包括两个不同的特征：1）帧内边界信息和2）帧间运动信息。然后，使用从梯度流场估计的前景和背景信息引入局部和全局对比度显著性测量。这些增强的对比度显著性提示均匀地突出整个对象。进一步提出了一种新的能量函数，以促进输出显著性图的时空一致性。本算法主要包含三步：显著性估计，显著线索精化，时空显著性优化。 ...
基于深度学习的视频显著性检测学习（入门）
LanceHang的博客
03-13 1386
该算法的特点是：①充分考虑特征聚合过程中特征之间的差异，由于聚合过程如果只是自上而下或自下而上就容易忽略高分辨率低语义的下层部分或低分辨率高语义的上层部分。而该算法通过整合自上而下的输出和自下而上的输出，充分考虑各层次的特征差异。②利用双层ConvLSTM考虑了远距离帧之间的时间相关性。该模型实际上是先提取更加丰富的边缘特征，接着用该特征引导空间，指导空间显著性的特征提取，最后用两组卷积LSTM分别处理空间高级特征和空间边缘特征，得到的结果融合达到视频显著性检测效果。
视频显著性项目涉及知识点-Matlab
郡主的博客
08-01 373
im2double(uint8) >>A = uint8([235 200 89 20]) A = 235 200 89 20 >> double(A) %返回与原矩阵数值相同但类型为double的矩阵； ans = 235 200 89 20 >> im2double(A) %返回矩阵类型...
revisiting knowledge distillation: an inheritance and exploration framework
最新发布
12-02
这篇论文回顾了知识蒸馏的概念，并提出了一个继承和探索的框架。知识蒸馏是一种模型压缩的技术，它通过将复杂模型的知识传递给简化的模型来提高模型的性能和效率。在这篇论文中，作者们指出知识蒸馏不仅仅是一种模型压缩的方法，而且还可以作为一种知识传承的方式，帮助理解和解释模型的行为。 在继承和探索的框架中，作者们提出了一种新的知识蒸馏方法，旨在充分利用先前模型中蕴含的知识，使得模型的表现和训练效果更加优秀。该框架还将知识蒸馏与迁移学习和领域自适应等方法相结合，为模型的进一步性能提升提供了可能。 此外，论文还对知识蒸馏的未来发展进行了展望，指出这一框架可以进一步扩展到更广泛的领域，如自然语言处理、计算机视觉和强化学习等方面。这将为研究者们提供更多的可能性和挑战，推动知识蒸馏技术在实际应用中的深入发展。 总的来说，这篇论文通过提出继承和探索的框架，对知识蒸馏的概念进行了重新探讨，并为未来的研究和发展方向提供了新的思路和方法。它为知识蒸馏技术的应用和扩展打开了新的可能性，对学术界和工业界都具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值