视频显著性检测

一.论文合集

1.Video Salient Object Detection via Fully Convolutional Networks

论文地址:https://arxiv.org/pdf/1702.00871.pdf

代码地址：https://github.com/wenguanwang/ViSalientObject

    本文提出了一种深度学习模型，可以有效地检测视频中的显著区域。它解决了两个重要问题：（1）深度视频显著性模型训练，缺乏足够大、像素级的注释视频数据;（2）快速视频显著性训练和检测。所提出的深度视频显著性网络由两个模块组成，分别用于捕获空间和时间的显著性信息。动态显著性模型，明确地合并静态显著性模型的显著性估计，直接产生时空显著性推断而无需耗时的光流计算。我们进一步提出了一种新颖的数据增强技术，该技术模拟来自现有注释图像数据集的视频训练数据，这使我们的网络能够学习不同的显著性信息，并防止使用有限数量的训练视频而过拟合。利用我们的合成视频数据（150K视频序列）和真实视频，我们的深度视频显著性模型成功地学习了空间和时间显著性线索，从而产生准确的时空显著性估计。我们推进了DAVIS数据集（MAE为.06）和FBMS数据集（MAE为.07）的最新技术，并且速度大大提高（所有步骤均为2fps）。 

 2.Pyramid Dilated Deeper CoonvLSTM for Video Salient Object Detection, ECCV, 2018

论文地址https://github.com/shenjianbing/PDBConvLSTM/blob/master/Pyramid%20Dilated%20Deeper%20CoonvLSTM%20for%20Video%20Salient%20Object%20Detection.pdf

代码地址：https://github.com/shenjianbing/PDB-ConvLSTM

3.Flow Guided Recurrent Neural Encoder for Video Salient Object Detection

论文地址：http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/1226.pdf

代码地址：

问题：之前接触到的显著性检测论文基本上都是针对图像的，而该论文做的是视频显著性目标检测。相比于图像，视频显著性检测的难点如下：目标或相机的移动，以及视频中对比度的剧烈变化，会影响显著性目标检测的结果；虽然静态图像的显著性检测模型很多，但其都很难扩展到视频显著性检测任务中去。

本文方法：针对上述问题，该论文提出了一个光流引导的递归神经网络解码器（Flow guided recurrent neural encoder, FGRNE）：利用光流来获取运动信息，用LSTM来进行时序特征的演化编码，从而提高不同帧的特征间时间相干性。作者认为该模型可以看作是任何基于FCN的静态显著性检测算法扩展到视频显著性检测的通用框架。