《Video Action Transformer Network》

最新推荐文章于 2024-06-17 09:50:50 发布
最新推荐文章于 2024-06-17 09:50:50 发布
阅读量3.3k 收藏 14
点赞数 3
分类专栏： 深度学习 文章标签： 动作分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34325086/article/details/103135607
版权
本文介绍了《Video Action Transformer Network》论文，该模型利用transformer结构结合I3D和RPN处理视频动作检测和分类。通过考虑时序上下文和周围物体，提升识别准确性。在AVA数据集上取得25%的mAP值，实验表明其优于传统I3D head方法。
摘要由CSDN通过智能技术生成

这周阅读了《Video Action Transformer Network》这篇文章，发表于2019年度的CVPR，并且做了oral talk，作者是卡内基梅隆和Google的研究人员，代码开源在：http://rohitgirdhar.github.io/ActionTransformer。

模型的目标是针对视频中的某一帧进行动作的检测和分类（此帧中包含多个人物和不同的动作，类似于目标检测），主要的思路是借鉴transformer结构将视频中前后的信息加入最终进行分类和定位的向量。优势在于使模型能够考虑到目标之外的相关物体带来的语义信息，这对于动作的识别是十分重要的。行为识别和定位的难点通常在于推断一个人的行为时不仅需要考虑目标本身的动作，其周围的物体对于推断同样重要。同样在视频中同样的需要考虑时序上的上下文关系，例如对“watch a person”进行识别，当人从帧中消失之后，同样需要进行推理来判断到底看的是人还是其他什么东西。

作者提出了改进的action transformer结构用于视频中的动作定位，其结构如下：其结合了I3D模型和RPN模型，分别提供基础的特征和采样机制。模型的训练和测试均在AVA数据集进行，最终性能在25%的mAP值

最低0.47元/天 解锁文章
《Video Action Transformer Network》阅读笔记（附Transformer的笔记内容）
qq_40133804的博客
04-11 3244
Transformer 半年前刚开始踏入深度学习的时候，看李弘毅的视频了解了一点Transformer。这次的笔记也是基于李宏毅视频讲解的内容。 在处理seq2seq问题时，我们首先能想到的就时rnn，它的优势是能结合上下文把握全局，不足是，它的计算不能实现平行。如下图，要想得到b4，必须先计算出b1,b2,b3。但如果用cnn替换rnn那就可以实现并行了，只不过这样的cnn需要构建多层，如图右边...
[Video Transformer] VTN: Video Transformer Network
Cherry的笔记本
01-18 1446
https://arxiv.org/abs/2102.00719 SlowFast/README.md at master · bomri/SlowFast · GitHub ICCV2021 Video action recognition 总结：相当于把CNN+LSTM结构中的LSTM替换为VTN 适用于处理长视频，在inference时可以一次输入整个视频 模型框架是模块化的，2D backbone可以换成不同的网络，注意力模块也可以设置为不同的transformer模型...
论文浏览(40) Video Action Transformer Network
清欢
09-10 844
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&有什么可以借鉴 0. 前言 相关资料： arxiv github（非官方代码，只有结构没有结果） 论文解读 项目网站 论文基本信息 领域：时空行为检测 作者单位：卡耐基梅隆大学 & DeepMind 发表时间：CVPR 2019 1. 要解决什么问题 就是想把 Transformer 的思路引入时空行为检测中。 判断人的行为之所以困难，有一步分原因在于行为类别需要依赖于目标人物周
【论文阅读】Video Action Transformer Network
正善有的博客
04-14 4418
Abstract 提出Action Transformer，一种利用Transformer架构聚合视频中进行动作的人的spatiotemopral context feature的动作分类和定位模型。 实验表明，通过使用high-resolution, person-specific, class-agnostic queries，模型可以学会追踪视频中的个人，并将个人的动作从其他动作中挑选出来。 Introduction 动作识别的难点之一是：推断一个人的动作经常需要理解**关注对象(person of
Video-Action-Transformer-Network-Pytorch-:视频行动变压器网络的实现
05-01
视频动作变压器网络火炬 视频行动变压器网络的Pytorch和Tensorflow实现Rohit Girdhar，Joao Carreira，Carl Doersch，Andrew Zisserman 重新定义视频变压器（用途为RESNET基地）transformer_v1.py更像是真正的变压器，transformer.py更真实到什么纸通告用法： from transformer_v1 import Semi_Transformer model = Semi_Transformer(num_classes=num_classes , num_frames = max_seq_len) outputs, features = model(imgs) # outputs is the classification layer output (do cross entropy loss)
论文阅读：Video Action Transformer Network
qq_36627158的博客
05-06 963
目录 Objective (Task) Motivation Proposed Method Trunk: I3D Region Proposal Network(RPN): Faster R-CNN Action Transformer Head Dataset Submission Format Result & Analysis Action classification with GT person boxes Localization performance (act
video action transformer network
03-16
视频动作转换网络（Video Action Transformer Network）是一种用于视频动作识别和预测的深度学习模型。它采用了一种新颖的注意力机制，可以自适应地选择视频中最重要的帧和动作，从而提高了识别和预测的准确性。该...
推荐项目: 视频动作识别——Video Action Transformer Network
最新发布
gitblog_00044的博客
06-17 451
???? 推荐项目: 视频动作识别——Video Action Transformer Network 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，视频理解是一个极其活跃的研究方向，尤其是视频中的动作识别任务，它涉及到复杂的时间和空间模式的捕捉与解析。近期，在GitHub上发现了一款值得关注且值得尝试的开源项目：Video-Action-Transformer-Ne...
Compressed Video Action Recognition(CVPR 2018)
perfects110的博客
11-21 1381
最近在研究Action recognition 方面的算法，Compressed Video Action Recognition 提出了一个比较新颖的算法 也是 CVPR2018 action recognition方面比较有代表性的文章。 代码可详见github. 首先看一下，作者于文中列出的第一张图 图中作者简要的对比了传统的RGB作为输入和提出的使用I-frame、motion...
Video Transformer Network阅读笔记
weixin_43540533的博客
03-20 665
Video Transformer Network阅读笔记 Abstract VTN, a transformer-based framework for video recognition. 抛弃3D ConvNets，引入了一种通过关注整个视频序列信息来对动作进行分类的方法。 能够通过单个端到端的通道进行完整的视频分析。 并提出了VTN特性的消融研究以及准确性和推理速度之间的权衡。 1 Introduction 基于transformer在许多任务上的应用，CNN的优势不在[8, 2, 27, 31]
Video Transformer Network
zkxhlbt的博客
03-09 572
Video Transformer Network 文章目录Video Transformer Network前言一、背景二、框架总结 前言 目前，将transformer结构用于行为识别的文章还比较少，比较出名的有这一篇VTN和19年的一篇文章。此处先记录VTN。 一、背景 近年来，基于CNN的行为识别已经刷爆了UCF101等小的数据集，但在大数据集上的准确率难有很大的突破。Transformer作为一种新的方法，有望突破这个瓶颈。由于使用了自注意力机制，Transformer的参数量极大，难
【论文笔记】Video Transformer Network
qq_40817314的博客
12-09 4350
论文地址：https://arxiv.org/abs/2102.00719 1 VTN的作用 1.1 提出问题 视频识别任务过度依赖卷积网络 处理时间维度的基本方法是使用3D卷积网络 存在计算量过大的问题 基于transformer的模型在处理长视频序列时受到限制，因为自我注意操作每层复杂度为O(n2)O(n^{2})O(n2)(n为序列长度） 1.2 解决方法 抛弃3D网络。使用最先进的2D架构来学习空间特征表示，并在随后的数据流中添加时间信息，在结果特征之上使用注意机制。 并且输入只有R
（论文总结）Video Transformer Network
Zhang_713的博客
05-16 1059
论文地址：论文地址 一、目前存在的问题及相应的改进 1、3D卷积来提取时序特征的计算量问题 **问题：**在视频任务下，传统卷积方法中为了更好的提取时序特征，一般采用3D的卷积方式，其中的计算量不管怎么改进也避免不了计算量大的问题。 **改进：**文中使用最新的2D结构来提取空间信息，然后在结果特征上采用注意力机制来添加时序信息。此方法的输入只需要RGB视频帧流即可，不需要类似光流这样的其他流。 2、针对长序列时序信息的提取 **问题：**Transformers一开始用于具有连续性的语言模型上，在视频任.
[Video Transformer] X-ViT: Space-time Mixing Attention for Video Transformer
Cherry的笔记本
01-14 1187
论文： https://arxiv.org/abs/2106.05968 代码： Home | Adrian Bulat GitHub - 1adrianb/video-transformers 博客： 《X-ViT》-基于时空混合attention的视频Transformer，大幅度降低计算复杂度 - 知乎 Samsung 视频识别 1 Introduction 用transformer进行视频识别时，由于时间维度的额外建模，导致计算开销显著提升。 本文提出的模型复杂度与视频..
[Video Transformer] ViViT: A Video Vision Transformer
Cherry的笔记本
01-17 2350
CVPR2021 论文： https://arxiv.org/abs/2103.15691 代码： scenic/scenic/projects/vivit at main · google-research/scenic · GitHub 参考博客： 初探Video Transformer（二）：谷歌开源更全面、高效的无卷积视频分类模型ViViT (qq.com) 1 Introduction ViViT利用纯Transformer结构进行视频分类，是ViT在视频输入上的应用。 ..
[Video Transformer] UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Lear
Cherry的笔记本
01-14 1698
UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Learning 论文： https://openreview.net/pdf?id=nBU_u6DLvoK ICLR 2022 1 Introduction 从高维视频中学习多尺度时空语义是很困难的，因为视频帧之间的全局依赖很复杂。 在图1中，TimeSformer在浅层中学习视频信息，但是空间和时间注意力都过于冗余。 空间注意力...
Video Analysis相关领域介绍之Action Recognition(行为识别)
热门推荐
Will Lin的博客
04-19 2万+
这篇文章投稿在极视角公众号，微信链接 随着深度学习技术的发展，以及计算能力的进步（GPU等），现在基于视频的研究领域越来越受到重视。视频与图片最大的不同在于视频还包含了时序上的信息，此外需要的计算量通常也大很多。目前主要在做视频中动作定位相关的工作，为了开拓思路，读了不少视频分析相关领域的文章，所以打算写几篇博客，对视频分析相关的几个领域做一个简要的介绍。这篇主要介绍Action Recogniti
CVPR2019 action detection 动作检测论文 two-in-one算法学习笔记
One Way的博客
09-02 1767
Dance with Flow: Two-in-One Stream Action Detection 学习时,别忘了总是要问自己一个为什么 论文 文章: Dance with Flow: Two-in-One Stream Action Detection 连接: https://arxiv.org/abs/1904.00696 简介 Two-in-One Stream Action Dete...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值