Shifting More Attention to Video Salient Object Detection笔记

最新推荐文章于 2024-05-29 21:26:10 发布
最新推荐文章于 2024-05-29 21:26:10 发布
阅读量1.2k 收藏
点赞数
分类专栏： 深度学习 文章标签： 目标检测 人工智能 计算机视觉 视觉检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LanceHang/article/details/129689980
版权

一、前言

该论文类似一个视频显著性检测的综述测评。
本文对8种用于视频显著性检测的数据集以及17种比较先进的视频显著性检测算法进行了对比分析
另外本文也有自己的特点：
①本文构建了用于视频显著性检测的大规模的稠密标注的视频显著对象检测（DAVSOD）数据集。
②本文还提出了一种面向显著性转移的VSOD（SSAV）的模型。

二、关于DAVSOD数据集

  1. 为什么要构建DAVSOD数据集呢？

我们知道，在我们看一段视频时，由于视频是一直运动着的，因此我们在观看过程中，注意力很可能会因为视频内容的变化而变化。但在以往的数据集中，进行标注时却并没有考虑动态的人眼注视点数据，而是直接将视频帧拆分成离散的静态帧来进行标注。

  1. DAVSOD数据集如何构建？

首先，该数据集的视频是来自当前最大规模的动态眼动数据集DHF1K，对其进行切片并删除黑屏过度片段，得到的包含226个视频，23938帧，798秒，分辨率为640×360像素的大型数据集。
在这里插入图片描述

其次，对该数据集进行标注，在标注过程中首次标注了注意力转移所发生的的时刻。
接着，对每个视频都手动标记了一个类别。
最后，标注时不仅标注了每帧的显著对象，还根据人类注意力，对每帧视频选择至多5个对象并细致标注。
在这里插入图片描述

  1. 数据集划分

以4:2:4的比例将视频分为训练、验证、测试集合（分别有90，46，90个视频）
根据VSOD的难度，90个测试集又分为32个容易的子集、30个正常子集和25个困难子集。

三、DAVSOD与其他数据集对比

在这里插入图片描述
其中
#Vi.：视频数量
#AF.：标注帧的数量
DL：是否是稠密（逐帧）标注
AS：是否考虑了注意力转移
FP：显著物体的标注是否根据人眼注视点
EF：是否为标注的显著对象提高人眼标注点
IL：是否提高了实例-级标注

对比分析：①DAVSOD首次强调了动态场景中的显著对象转移，并提供了唯一的、与视觉注意力相一致的标注。②DAVSOD多样性、大规模稠密标注、完整的对象/实例-级显著对象的标注、视频描述以及丰富的属性标注（例如显著对象的数量，运动模式以及场景/对象类别等）为VSOD任务打下基础。

四、关于SSAV模型

该模型由金字塔扩张卷积模块（PDC）和显著性转移感知模块（SSLSTM）
在这里插入图片描述

4.1PDC

用于提取静态特征，得到静态特征序列。

  1. 那为什么要用PDC呢？

由于多尺度信息的利用和空间细节的保留，平行叠加一组带有采样率的扩张卷积层可以获得更好的性能。

  1. 那么如何实现PDC呢？

先用Q表示输入帧的3D特征张量，接着一扩张率为d>1的扩张卷积层Dd作用到Q，得到特征P。
最终得到一个通过不同扩张率得到不同层的多尺度信息和原始信息Q的特征序列：
在这里插入图片描述
其中P1代表第一个扩张率得到的层对原始特征Q作用的结果

4.2 SSLSTM

用于捕获时序信息，同时区分背景中的显著物体以及编码注意力转移信息。

  1. 如何实现SSLSTM呢？

我们已经通过PDC得到了一个静态特征序列X，因此在某时刻t时，给定Xt，则可利用显著性转移感知的convLSTM输出相应的显著对象掩码St：
在这里插入图片描述
其中σ为sigmoid激活函数。
该模块的关键是显著性转移感知注意网络F^A，它用来作为神经元注意机制，对convLSTM输出的特征H进行加权；并且有效的模拟人类注意力转移行为。由于它要实现两个功能，因此又引入一个小的convLSTM来构建显著性转移感知注意网络，从而达到convLSTM嵌套另外的convLSTM的效果：
在这里插入图片描述

用l(·)∈{0,1}表示是否存在注意视点标注（其中为0表示没有，为1表示有），当l(·)=0时则F^A以隐式方式训练，=1则以显式方式训练。

五、SSAV与其他算法对比

在这里插入图片描述

Shifting More Attention to Video Salient Object Detection 学习笔记
weixin_30709061的博客
09-20 1441
突出/显眼目标的识别广泛用于机器视觉，自动驾驶等领域，研究表明，人的眼睛对于显眼和不显眼的目标的识别的方式有着显著的不同 但是由于各类原因，vsod的领域面临着很多挑战，所以，针对这些，这篇文章主要探讨了两个方面，一是提出了基于人眼动态识别这种机制的数据集，尤其要注意的是，以前的vsod很多都是从静态帧出发，从而分割对象的，但是这样明显不能区分谁是“最显眼的”，所以，这篇文章先提出了数...
论文笔记-Exploring Plain Vision Transformer Backbones for Object Detection
Bolly_He的博客
04-01 3569
论文链接：https://arxiv.org/pdf/2203.16527.pdf 这一篇论文是Facebook AI Research 的 Yanghao Li、何恺明等新作。论文思想主要是证明了将普通的、非分层的视觉 Transformer 作为主干网络进行目标检测的可行性。仅仅通过VIT的最后一层特征，通过多次反卷积来实现特征的多尺度。 摘要 本文探索研究了一种链式的，非层级结构的VIT作为目标检测的backbone。这种设计使得原始的VIT结构就可以fine-tuned用于目标检测，而无需重新
显著性目标检测之Shifting More Attention to Video Salient Object Detection
画心
04-30 1472
Shifting More Attention to Video Salient Object Detection 文章目录Shifting More Attention to Video Salient Object Detection主要改进数据集层面模型层面实验设置实验比较相关链接 原始文章：https://www.yuque.com/lart/papers/vrkwzi 好久没有更新了，...
Shifting More Attention to Video Salient Object Detection （CVPR 2019）
taxuewuhenxiaoer
02-20 1131
Shifting More Attention to Video Salient Object Detection 现实生活中缺少一个完善的高质量标注的视频显著性目标检测（video salient object detection, VSOD）数据集。因此，本文构建了一个视频注意力一致，稠密标注的VSOD数据集，简称DAVSOD。这个数据集包含226个视频，共23938帧，涵盖了多种真实场景，物...
Video Salient Object Detection via Fully Convolutional Networks
weixin_41770460的博客
05-07 932
该论文分两部分。第一部分用Python实现，讲的是静态显著性以及动态显著性。在静态显著性中，先把单帧的It图片经过卷积层以及反卷积层得到静态显著图（h,w,1），这个过程称为FCN。在动态显著性中，把It,It+1与求得的静态显著图合成（h,w,7）图像再输入FCN得到时空显著图。第二部分用matlab实现，讲如何合成视频数据。通过光流方法由I′(x)=I(x+v(x))合成下一帧的图像。...
Video Salient Object Detection via Adaptive Local-Global Refinemen
05-07 846
对于视频显著性目标检测（VSOD），需要充分利用时空信息，大多数已存在的方法都是利用简单的融合技术组合不同域的信息，如此融合未能充分利用从多尺度的特征中提取的时空信息。本文作者提出了一个自适应的局部-全局优化框架充分探索多尺度特征。同时利用基于GCN的自适应赋权机制进行有效和无效信息的控制。
显著性检测论文阅读整理
sheng4204的博客
06-25 3977
1. Visual Saliency Based on Multiscale Deep Features 原文链接：https://arxiv.org/pdf/1503.08663.pdf 翻译：https://blog.csdn.net/weixin_40740160/article/details/89005994 题目：基于多尺度深度特征的视觉显著性 作者：Guanbin Li，Yi...
Dynamic R-CNN: Towards High Quality Object Detection via Dynamic Training
weixin_48211296的博客
05-29 1537
尽管两阶段目标检测器近年来不断提升了最先进的性能，但其训练过程本身仍然存在问题。在这项工作中，我们首先指出固定的网络设置与动态训练过程之间的一致性问题，这极大地影响了性能。例如，固定的标签分配策略和回归损失函数无法适应提案分布的变化，因此对训练高质量检测器有害。因此，。这种动态设计更好地利用了训练样本，并推动检测器适应更多高质量的样本。具体而言，我们的方法在MS COCO数据集上，相对于ResNet-50-FPN基线，提高了1.9%的AP和5.5%的AP90，且没有增加额外的开销。代码和模型可在获取。
论文笔记: PVANet: Lightweight Deep Neural Networks for Real-time Object Detection
DeepIndeed
12-22 599
论文下载 arxiv paper code Abstract 使用"Feature Extraction+Region Proposal+RoI Classification" 的结构，主要对Feature Extraction进行重新设计。因为，Region Proposal部分计算量不太大而且classification部分可以使用通用的技术(例如：Truncated SVD) 进行有效...
Video Salient Object Detection via学习笔记
LanceHang的博客
03-13 215
本文主要是针对视频显著性检测遇到的两个问题：①在进行基于深度学习的视频显著性检测时缺少足够多的已经标记的像素级数据。②如何提高加快视频显著性检测和训练。针对这两个问题有相应的解决方案：①提出一个网络，该网络有两个模块分别提取空间信息和时间信息。动态显著性模型可以合并静态显著模型的显著性估计，直接产生时空显著性推断而不需要耗时的光流计算。那么该方案如何实现？A：研究卷积神经网络在动态场景中端到端训练和像素显著性预测。
DAVSOD:将更多注意力转移到视频显着异议检测上，CVPR 2019（最佳论文入围和口头）
05-10
SSAV（CVPR2019-口服） 代号为CVPR2019纸，“将更多关注视频感兴趣区域提取”，，，，。 联系人：，电子邮件： 带有代码的纸张： ://paperswithcode.com/task/video-salient-object-detection（“[D*F*n]、[S**V2*19c*prbe****ark]”） 摘要过去十年见证了对视频显着目标检测（VSOD）的日益增长的兴趣。 然而，长期以来，研究界缺乏一个完善的VSOD数据集，该数据集代表了具有高质量注释的真实动态场景。 为了解决这个问题，我们精心收集了一个视觉注意一致的密集注释VSOD（DAVSOD）数据集，其中包含226个视频，其中23,938帧涵盖了各种现实场景，对象，实例和动作。 借助相应的真实人眼注视数据，我们可以获得精确的地面真相。 这是第一个明确强调显着性变化挑战的工作，即视频显着对象可能会动
【视频显著性检测】Video Salient Object Detection via Fully Convolutional Networks【论文笔记】
weixin_38682454的博客
03-14 2152
论文链接 这篇论文非常有意思，不仅仅在于显著性，而在于数据集的生成。 本文主要内容： 一、提出使用神经网络做动态视觉显著性检测 二、提出一种人工合成视频数据的方法。★★★★★ 三、在数据集上state-of-the-art，且速度更快。 网络结构 网络结构如图，输入单张图片经过全卷积网络输出得到静态显著性检测图，然后与下一帧的帧对结合，输入动态的全卷积网络得到最终的显著性检测图...
万字解析Video Salient Object Detection via Adaptive Local-Global Refinement
jiangyuanlin的博客
01-26 1695
万字解析Video Salient Object Detection via Adaptive Local-Global Refinement
Motion Guided Attention for Video Salient Object Detection论文详读
weixin_41963310的博客
02-25 1591
Motion Guided Attention for Video Salient Object Detection abstract        视频显著目标检测的主要目的是检测出视频中视觉上最突出、最独特的目标，现有的方法没有获取和使用视频中的运动线索，或忽略了光流图像中的空间上下文。        本文的方法使用两个子网络分别实现两个子任务，一个子网络(appe
视频显著性检测(Video Salient Object Detection)部分论文汇总
xiongxyowo的博客
04-02 887
视频显著性检测(Video Salient Object Detection)部分论文汇总
视频显著性检测----《Flow Guided Recurrent Neural Encoder for Video Salient Object Detection》
ReaFly的博客
07-18 1653
本文将重点与大家探讨和分享发表于CVPR2018上的视频显著性检测文章–《Flow Guided Recurrent Neural Encoder for Video Salient Object Detection》，在讨论之前，先带领大家简单回顾一下什么是显著性检测，目前图片显著性检测的常用方法，以及将显著性检测从图片过渡到视频有哪些不同点或难点，希望可以给像我一样刚接触显著性检测...
视频显著性检测
qq_36086861的博客
12-04 3446
一.论文合集 1.Video Salient Object Detection via Fully Convolutional Networks 论文地址:https://arxiv.org/pdf/1702.00871.pdf 代码地址：https://github.com/wenguanwang/ViSalientObject     本文提出了一种深度学习模型，可以有效地检测视频中的...
Error querying database. Cause: java.lang.NullPointerException
qq_51682737的博客
06-23 5670
mybatis异常
Weakly Supervised Video Salient Object Detection
qq_49230659的博客
07-13 1661
Weakly Supervised Video Salient Object Detection摘要3. Our Method3.1. Overview3.2. Fixation guided scribble annotation 摘要 本文首次提出了基于重标注的“眼动点模糊标注”的弱监督视频显著性目标检测模型。本文提出了“Appearance-motion fusion module”和双向的LSTM；另外还设计了前背景similarity loss；另外还提出了一个weak annotation bo
give me a complete code according to the second part (LED Shifting) of this file
最新发布
11-15
Certainly! Below is a complete code example for the `LedShift` application described in the second part of the document "Lab 3 - IO Operations - LED Application.pdf". This code will shift the position of the lit LED from the first LED on the Basys3 board, using an interrupt to rotate the LED every 0.1 seconds. ### led_shift.c ```c #include "xparameters.h" #include "xgpio.h" #include "xintc.h" #include "xtmrctr.h" #include "xil_exception.h" #include "xil_printf.h" #include "rotate.h" // Global variables static XGpio Gpio; volatile u16 ledValue = 0x0001; // Start with the first LED lit XIntc Intc; XTmrCtr TmrCtr; // Function prototypes void initGpio(void); void initInterruptSystem(void); void TimerISR(void *CallBackRef); int main() { // Initialize the GPIO initGpio(); // Initialize the interrupt system initInterruptSystem(); // Output the initial value to the LED port XGpio_DiscreteWrite(&Gpio, 1, ledValue); // Enter an infinite loop while (1) { // Main loop does nothing, everything is handled by the interrupt service routine } return 0; } void initGpio(void) { // Initialize the GPIO driver int Status; Status = XGpio_Initialize(&Gpio, XPAR_GPIO_0_DEVICE_ID); if (Status != XST_SUCCESS) { xil_printf("GPIO Initialization Failed\r\n"); return; } xil_printf("GPIO Initialization Successful\r\n"); } void initInterruptSystem(void) { int Status; // Initialize the interrupt controller driver Status = XIntc_Initialize(&Intc, XPAR_INTC_0_DEVICE_ID); if (Status != XST_SUCCESS) { xil_printf("INtc Initialization Failed\r\n"); return; } // Connect the interrupt handler Status = XIntc_Connect(&Intc, XPAR_INTC_0_TMRCTR_0_INTERRUPT_INTR, (XInterruptHandler)TimerISR, &TmrCtr); if (Status != XST_SUCCESS) { xil_printf("INtc Connect Failed\r\n"); return; } // Enable the interrupt XIntc_Enable(&Intc, XPAR_INTC_0_TMRCTR_0_INTERRUPT_INTR); // Start the interrupt controller Status = XIntc_Start(&Intc, XIN_REAL_MODE); if (Status != XST_SUCCESS) { xil_printf("INtc Start Failed\r\n"); return; } // Initialize the timer/counter driver Status = XTmrCtr_Initialize(&TmrCtr, XPAR_TMRCTR_0_DEVICE_ID); if (Status != XST_SUCCESS) { xil_printf("TmrCtr Initialization Failed\r\n"); return; } // Set the timer to generate an interrupt every 0.1 seconds XTmrCtr_SetLoadReg(&TmrCtr, 0, XPAR_CPU_MHZ * 100000); // 0.1 seconds in microseconds // Start the timer XTmrCtr_Start(&TmrCtr, 0); // Enable global interrupts Xil_ExceptionInit(); Xil_ExceptionRegisterHandler(XIL_EXCEPTION_ID_INT, (Xil_ExceptionHandler)XIntc_InterruptHandler, &Intc); Xil_ExceptionEnable(); } void TimerISR(void *CallBackRef) { // Acknowledge the interrupt XTmrCtr InterruptionMask; InterruptionMask = XTmrCtr_GetInterruptStatus(&TmrCtr, 0); XTmrCtr_ClearInterruptStatus(&TmrCtr, 0, InterruptionMask); // Rotate the LED value to the left ledValue = rotateLeft(ledValue, 1); // Output the rotated value to the LED port XGpio_DiscreteWrite(&Gpio, 1, ledValue); } ``` ### rotate.c ```c #include "xparameters.h" #include "xgpio.h" #include "xil_types.h" u16 rotateLeft(u16 value, int count) { while (count--) { if (value & 0x8000) { value = (value << 1) | 1; } else { value = value << 1; } } return value; } u16 rotateRight(u16 value, int count) { while (count--) { if (value & 1) { value = (value >> 1) | 0x8000; } else { value = value >> 1; } } return value; } ``` ### Explanation: 1. **Initialization**: - `initGpio()` initializes the GPIO driver for the LEDs. - `initInterruptSystem()` sets up the interrupt controller and timer to generate interrupts every 0.1 seconds. 2. **Main Loop**: - The main loop does nothing because all the work is handled by the interrupt service routine (ISR). 3. **Interrupt Service Routine (ISR)**: - `TimerISR()` is called every 0.1 seconds. - It acknowledges the interrupt, rotates the `ledValue` to the left using the `rotateLeft()` function, and updates the LED port with the new value. 4. **Rotation Functions**: - `rotateLeft()` shifts the bits to the left and wraps around if the most significant bit is set. - `rotateRight()` shifts the bits to the right and wraps around if the least significant bit is set. This code will cause the LED to shift from right to left, wrapping around when it reaches the last LED.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值