视频理解经典论文简要笔记 ( idea / 网络结构 / 创新点)

已于 2022-08-23 12:24:26 修改
阅读量585 收藏 2
点赞数 1
分类专栏： 机器学习 深度学习 文章标签： 深度学习 人工智能 计算机视觉 神经网络 机器学习
于 2022-08-23 12:19:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56607174/article/details/126482039
版权
本文总结了视频理解领域的关键论文和方法，包括双流网络、TSN、C3D、I3D、non-local、R(2+1)D、slowfast、ViT以及Timesformer等。这些方法通过融合空间和时间信息，利用自我注意力机制，提升了视频内容的理解能力。其中，预训练模型、数据增强策略和不同类型的融合方式对于模型性能至关重要。
摘要由CSDN通过智能技术生成

简介

本文是对 视频理解论文串讲（上） 和 视频理解论文串讲（下） 的笔记， 推荐去看原视频以及原论文，可以对近几年来视频理解领域的经典论文和方法有一个较为全面、简要的insight。

目录

DeepVideo

在这里插入图片描述

2D卷积，3种fusion


在这里插入图片描述

多分辨率(双流)

  • Two-stream

在这里插入图片描述

双流(single frame:空间， 光流：时间)， 最后做fusion

  • Beyond-short-snippets

在这里插入图片描述

双流网络+尝试各种pooling, conv pooling效果最好, LSTM做特征融合


在这里插入图片描述

LSTM做特征融合

  • Convolutional fusion

在这里插入图片描述

双流网络+early fusion(空间流和时间流)


在这里插入图片描述

early fusion(空间流和时间流)

  • TSN

在这里插入图片描述

双流网络+把视频切开(分别送入双流网络，空间流和时间流输出分别做fusion， 最后空间流和时间流late fusion(加权平均))

trick:

  1. 用ImageNet预训练的模型处理光流， 将第一层对3个channel做平均，再复制20遍，效果特别好，被广泛使用
  2. 提出partial BN: 第一层BN打开，其他所有BN冻住（由于第一层变了），被广泛使用 (数据集太小， BN容易过拟合, )
  3. 数据增强：corner cropping（在边角crop） and scale-jittering（改变长宽比）， 被广泛使用

  • C3D

在这里插入图片描述

3D版的VGG

  • I3D

在这里插入图片描述

膨胀的3D卷积网络，inflated操作，利用在2D卷积网络上预训练好的参数

  • non-local

在这里插入图片描述

把self-attention（时空注意力）用于视频理解

  • R(2+1)D

在这里插入图片描述

在这里插入图片描述

空间2D卷积+时间1D卷积

  • slowfast

在这里插入图片描述

在这里插入图片描述

slow: 低帧率，小输入，大网络，空间信息

fast: 高帧率，大输入，小网络，时间信息

  • ViT

在这里插入图片描述

将图片切成16x16大小的一系列token，作为输入直接送入标准的transformer

借鉴BERT的想法，用特殊的*token的输出用作分类，或者和CNN一样用GAP

这里的patch embedding层就是一个全连接层

  • Timesformer

在这里插入图片描述

在这里插入图片描述

把ViT运用到视频领域

5种不同的时空注意力拆分，主打第3种

  • MViT

在这里插入图片描述

输入为图片的MViT：空间分辨率减少，通道数增加


在这里插入图片描述

在Pool层（一个stage中的第一个MHPA中）降低时空分辨率，在MLP输出层（一个stage的最后一个MLP）增加D（2倍）

在这里插入图片描述

每个stage最后的MLP后的残差连接需要加一层Linear匹配维度

Frame shuffling， 准确率降低，说明较好地对时间进行了建模

  • MViTv2

在这里插入图片描述

改进绝对位置嵌入为相对位置嵌入

残差池化连接，以增加信息流，加快池化注意块的训练

Pooling attention and window attention， 减少计算复杂度

Hwin， 计算一个窗口内的局部注意力，除了最后三个阶段的最后一个块，并将其输入 FPN

alterego2380
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
AAAI 2021上与【视频理解】相关论文（五篇）
01-19
近期，所有paper list 放出，本文发现基于视频理解（Video Understanding）相关的接受paper很多，视频理解，比如视频分割、视频分类以及视频描述生成等等一些列前沿的方法和应用受到了很多人的关注。
（一）【Deep video】视频理解论文串讲（上）【论文精读】笔记
CSPhD-winston的博客
10-20 2648
Large-scale Video Classification with Convolutional Neural Networks （一）【Deep video】视频理解论文串讲（上）【论文精读】笔记
【论文阅读】视频理解系列论文精读
三木今天学习了嘛の博客
10-28 1430
对视频理解中的一些经典文章做了精读，并简单记录
视频理解论文汇总zoo（持续ing）
The smart is sexy
01-13 1491
视频理解论文zooSlowFast Networks for Video RecognitionGcnet: Non-local networks meet squeeze-excitation networks and beyondVideo Classification With Channel-Separated Convolutional NetworksSTM: SpatioTemporal and Motion Encoding for Action RecognitionMore Is Les
视频理解论文实验笔记2014-2022
Yiyang的专栏
09-15 1410
看了李沐团队的视频，其中关于视频理解的串讲()讲的太好了，按照他的顺序看了这些论文，并做了重点针对实验部分的笔记。
17 java swing 购物系统 简要文档 idea eclipse双版本
最新发布
06-08
管理员： 1.商品管理 ...项目包含：idea版源码+eclipse源码+简要文档(er图+摘要+开发背景+开发目的+可行性分析+技术简介+总结 共约3500字) 代码均是经本人运行并多次测试后的，资料齐全，请大家放心购买。
15 java swing 仓库管理系统 简要文档 idea eclipse双版本
06-08
项目功能结构树 管理员： 1. 用户管理 1.1添加用户 1.2查询用户 1.3删除用户 ...1.5更换用户 ...项目包含：idea版源码+eclipse源码+简要文档(er图+摘要+开发背景+开发目的+可行性分析+技术简介+总结 共约3500字)
深入理解LINUX内核 简要笔记
02-15
深入理解LINUX内核,简要笔记，欢迎下载哦。
resnet-protofiles-master.zip_人工智能/神经网络/深度学习_Python_
08-10
总之，ResNet系列模型是深度学习领域的里程碑，其创新的设计使得深度神经网络的训练变得更加可行和高效。通过深入学习这个压缩包中的配置文件，我们可以更深入地理解ResNet的工作机制，并利用这些知识来优化和应用...
简要论述企业文化内容的创新与发展-论文.zip
08-18
这篇论文《简要论述企业文化内容的创新与发展》探讨了在不断变化的商业环境中，企业文化如何进行创新与发展的主题。 首先，企业文化创新的重要性在于，它可以推动企业的适应性和创新能力。在快速迭代的市场环境下，...
跟李沐学AI之卷积神经网络
weixin_56368033的博客
09-06 1324
跟李沐学AI之卷积神经网络
视频理解论文综述
The smart is sexy
12-14 1965
Temporal Segment Network TSN提出的背景是当时业界做动作识别都是用 Two-stream CNN 和 C3D 比较多，它们都有个通病，就是需要密集采样视频帧，比如 C3D 中使用的是连续采样间隔的16 frames，这样当输入是个Long视频，计算量很庞大~ 故文中就提出了 稀疏时间采样策略 Pros: 通过 Sparse temporal sampling 可以扔掉很多冗余帧，初步满足实际应用的real-time要求 Cons: 对于Temporal特征欠考虑...
视频理解论文杂读
PeaceInMind的博客
05-06 6861
图片到视频肯定是科研发展的方向，可惜需要的资源太多,主要关注动作识别方向 未完成，主要给自己看 [201905-arxiv] Unsupervised Learning from Video with Deep Neural Embeddings Self-supervised Learning for Video Correspondence Flow [2019-arxiv]DistI...
[论文笔记] 用于在线视频理解的高效卷积网络
Will Lin的博客
06-03 3430
视频理解算法有很多的应用场景，包括视频推荐、监控分析、人机交互等等。在这些真实的应用场景中，通常对算法的实时性有很高的要求。现有的行为识别方法还未能在分类的准确性和运行速度都达到比较好的效果（双流类的方法效果较好，但光流等步骤使得速度很受限；3D 网络类的方法目前的精度和速度也都还不够理想）。所以在保证分类效果的前提下，提高网络的运行速度是当前一个很重要的研究课题。 针对这个问题，这篇论文笔记主...
理解ViT（结合代码）
Orange_sparkle的博客
09-07 4166
关于vit的网络详解建议去b站看我b站导师的视频这篇文章只讲述我看完视频和代码之后对ViT的理解，特别是代码中是怎么实现的网络结构。
李沐论文精度系列之七：Two-Stream双流网络、I3D
热门推荐
qq_56591814的博客
11-26 1万+
视频天然包含更懂得模态信息和数据增强，视频处理是未来深度学习的突破的方向。本文介绍了双流网络和I3D这两篇有影响力的工作，后续会出一次视频论文串讲
双流网络是什么？
薇酱的博客
04-05 6173
目录 0.简介： 1.结构： 空间部分： 时间部分： 0.简介： 双流网络是视频理解里的开山之作，为什么这么说呢？因为在之前的视频理解里，使用深度网络并没有取得很好的结果，甚至说还不如之前手工特征的效果好，而双流网络则证明了，并不是深度网络不好，而是对深度网络的使用方式不对。而双流网络的有效性同时也告诉大家，当深度网络不work的时候，可以尝试引入一些先验信息，这样可以简化任务，得到很好的效果。 1.结构： 作者认为，视频可以很自然地分解成空间和时间2个部分，空间部分主要是一些外
Multiscale Vision Transformers 论文详解
like_jmo的博客
11-21 3094
我们提出了 Multiscale Vision Transformers（MViT）用于视频和图像识别。MViT 是多尺度特征层次结构和Transformer的结合。MViT 有几个通道分辨率尺度块（channel-resoluation scale stages）。从输入分辨率和小通道维度开始，这些stages扩展通道容量，同时降低空间分辨率。这创建了一个多尺度特征金字塔，早些的层在高空间分辨率下运行以模拟简单的低级视觉信息，而更深层在空间粗糙但复杂的高维特征上运行。
88.8%准确率！FAIR提出：改进多尺度视觉Transformer
阿木寺的博客
12-05 2489
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Improved Multiscale Vision Transformers for Classifi...
Linux内核中套接字数据结构详解：TCP/IP网络栈核心
同时，文中对一些网络术语进行了简要解释，以便读者更好地理解。 文章随后探讨了网络数据包从主机到网络层、再到传输层和应用层的接收和发送流程，涉及TCP/IP协议栈的具体实现，如MSS（最大报文段尺寸），以及拥塞...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

alterego2380

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值