《Video Action Transformer Network》

最新推荐文章于 2022-09-24 14:29:18 发布
VIP文章 最新推荐文章于 2022-09-24 14:29:18 发布
阅读量3.2k 收藏 14
点赞数 3
分类专栏： 深度学习 文章标签： 动作分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34325086/article/details/103135607
版权

这周阅读了《Video Action Transformer Network》这篇文章，发表于2019年度的CVPR，并且做了oral talk，作者是卡内基梅隆和Google的研究人员，代码开源在：http://rohitgirdhar.github.io/ActionTransformer。

模型的目标是针对视频中的某一帧进行动作的检测和分类（此帧中包含多个人物和不同的动作，类似于目标检测），主要的思路是借鉴transformer结构将视频中前后的信息加入最终进行分类和定位的向量。优势在于使模型能够考虑到目标之外的相关物体带来的语义信息，这对于动作的识别是十分重要的。行为识别和定位的难点通常在于推断一个人的行为时不仅需要考虑目标本身的动作，其周围的物体对于推断同样重要。同样在视频中同样的需要考虑时序上的上下文关系，例如对“watch a person”进行识别，当人从帧中消失之后，同样需要进行推理来判断到底看的是人还是其他什么东西。

作者提出了改进的action transformer结构用于视频中的动作定位，其结构如下：其结合了I3D模型和RPN模型，分别提供基础的特征和采样机制。模型的训练和测试均在AVA数据集进行，最终性能在25%的mAP值

最低0.47元/天 解锁文章
为什么四川人喜欢日李先人
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
《Video Action Transformer Network》阅读笔记（附Transformer的笔记内容）
qq_40133804的博客
04-11 3151
Transformer 半年前刚开始踏入深度学习的时候，看李弘毅的视频了解了一点Transformer。这次的笔记也是基于李宏毅视频讲解的内容。 在处理seq2seq问题时，我们首先能想到的就时rnn，它的优势是能结合上下文把握全局，不足是，它的计算不能实现平行。如下图，要想得到b4，必须先计算出b1,b2,b3。但如果用cnn替换rnn那就可以实现并行了，只不过这样的cnn需要构建多层，如图右边...
理解Spatial Transformer Network
SIGAI_CSDN的博客
08-10 7757
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 概述 随着深度学习的不断发展,卷积神经网络(CNN)作为计算机视觉领域的杀手锏,在几乎所有视觉相关任务中都展现出了超越传统机器学习算法甚至超越人类的能力。一系列CNN-based网络在classificati...
Video-Action-Transformer-Network-Pytorch-:视频行动变压器网络的实现
05-01
视频动作变压器网络火炬 视频行动变压器网络的Pytorch和Tensorflow实现Rohit Girdhar，Joao Carreira，Carl Doersch，Andrew Zisserman 重新定义视频变压器（用途为RESNET基地）transformer_v1.py更像是真正的变压器，transformer.py更真实到什么纸通告用法： from transformer_v1 import Semi_Transformer model = Semi_Transformer(num_classes=num_classes , num_frames = max_seq_len) outputs, features = model(imgs) # outputs is the classification layer output (do cross entropy loss)
【论文阅读】Video Action Transformer Network
正善有的博客
04-14 4089
Abstract 提出Action Transformer，一种利用Transformer架构聚合视频中进行动作的人的spatiotemopral context feature的动作分类和定位模型。 实验表明，通过使用high-resolution, person-specific, class-agnostic queries，模型可以学会追踪视频中的个人，并将个人的动作从其他动作中挑选出来。 Introduction 动作识别的难点之一是：推断一个人的动作经常需要理解**关注对象(person of
论文浏览(40) Video Action Transformer Network
清欢
09-10 801
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&有什么可以借鉴 0. 前言 相关资料： arxiv github（非官方代码，只有结构没有结果） 论文解读 项目网站 论文基本信息 领域：时空行为检测 作者单位：卡耐基梅隆大学 & DeepMind 发表时间：CVPR 2019 1. 要解决什么问题 就是想把 Transformer 的思路引入时空行为检测中。 判断人的行为之所以困难，有一步分原因在于行为类别需要依赖于目标人物周
论文阅读：Video Action Transformer Network
qq_36627158的博客
05-06 690
目录 Objective (Task) Motivation Proposed Method Trunk: I3D Region Proposal Network(RPN): Faster R-CNN Action Transformer Head Dataset Submission Format Result & Analysis Action classification with GT person boxes Localization performance (act
Video Transformer Network
阿木寺的博客
02-02 3279
可与现有backbone结合，使其具有超强视频分类/理解的能力，如ViT/DeiT+ VTN 真香！训练速度提高了16.1倍，运行速度提高了5.1倍，代码和预训练模型即将开源！ 注1：文末附【Transformer】流群 Video Transformer Network 作者单位：Theator公司 论文：https://arxiv.org/abs/2102.00719 本文介绍了VTN，这是一种基于Transformer的视频识别框架。 受视觉Transformer最新发展的启发，我们放弃了基于3
Transformer作者创业后首个成果亮相！用文本指挥AI做表格发邮件，这是先给自己造了个员工？...
量子位
09-24 189
明敏 发自 凹非寺量子位 | 公众号 QbitAI集结了Transformer作者、前OpenAI工程副总裁的创业团队，不到半年就亮出首个大模型——Action Transformer（ACT-1）。简单来说，这是一个会使用浏览器、Excel等软件工具的AI。基于Transformer的自然语言处理能力，它能理解人类给出的命令，并完成相应操作。比如，想要在Excel表格中加上利润、利润率，只需把这...
【论文笔记】Video Transformer Network
qq_40817314的博客
12-09 3869
论文地址：https://arxiv.org/abs/2102.00719 1 VTN的作用 1.1 提出问题 视频识别任务过度依赖卷积网络 处理时间维度的基本方法是使用3D卷积网络 存在计算量过大的问题 基于transformer的模型在处理长视频序列时受到限制，因为自我注意操作每层复杂度为O(n2)O(n^{2})O(n2)(n为序列长度） 1.2 解决方法 抛弃3D网络。使用最先进的2D架构来学习空间特征表示，并在随后的数据流中添加时间信息，在结果特征之上使用注意机制。 并且输入只有R
video_transformer
10-04
本exe文件是可以将任何视频转换成字符画，原理是按帧读取视频，计算其灰度值，然后进行转换，含有音频，内有操作指南。注意:帧选项可以回车跳过，视频越大，消耗时间越长
transformer_network:空间变压器网络
05-07
这已经转移到烤宽面条参见 SpatialTransformerLayer已移至Lasagne。 除了很小的界面更改外，Lasagne版本完全相同。 请参见< >。 您需要从github安装烤宽面条以获取空间转换器层。 我在此处创建了一个示例用法<...
CSWin Transformer
最新发布
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上...
Transformer详解.pptx
06-15
本课件是对论文 Attention is all you need 的导读与NLP领域经典模型 Transformer 的详解，通过介绍传统Seq2Seq 模型及 Attention ，引入 Transformer 模型，并对其架构进行宏观微观的解读，然后详细介绍Transformer...
（论文总结）Video Transformer Network
Zhang_713的博客
05-16 975
论文地址：论文地址 一、目前存在的问题及相应的改进 1、3D卷积来提取时序特征的计算量问题 **问题：**在视频任务下，传统卷积方法中为了更好的提取时序特征，一般采用3D的卷积方式，其中的计算量不管怎么改进也避免不了计算量大的问题。 **改进：**文中使用最新的2D结构来提取空间信息，然后在结果特征上采用注意力机制来添加时序信息。此方法的输入只需要RGB视频帧流即可，不需要类似光流这样的其他流。 2、针对长序列时序信息的提取 **问题：**Transformers一开始用于具有连续性的语言模型上，在视频任.
CVPR 2017 paper
qq_34848537的博客
10-08 3097
参考链接 CVPR 2017 open access Paperlist Graph-Structured Representations for Visual Question Answering Physics Inspired Optimization on Semantic Transfer Features: An Alternative Method for Room Layout...
译：Convolutional Two-Stream Network Fusion for Video Action Recognition
MemoryHeroLi的博客
09-26 1708
用于视频动作识别的卷积双流网络融合 **摘要：**近年来，卷积神经网络对视频中人类行为识别的应用提出了不同的解决方案，用于整合外观（spatial）和运动(temporal)信息。为了更好地利用时空信息，我们研究了许多在空间和时间上融合卷积网络层的方法。我们得出以下结论： （i）不是在softmax层进行融合，而是在一个卷积层上融合空间和时间网络，即不会损失性能，而且在参数上有大量的节省;（ii）...
[深度学习论文笔记][Attention] Spatial Transformer Networks
Hao_Zhang_Vision的博客
11-15 3003
Jaderberg, Max, Karen Simonyan, and Andrew Zisserman. “Spatial transformer networks.” Advances in Neural Information Processing Systems. 2015. (Citations: 116). 1 Motivation The Show, Attend and
翻译：Collaborative Spatiotemporal Feature Learning for Video Action Recognition
zahidzqj的博客
07-13 1959
Collaborative Spatiotemporal Feature Learning for Video Action Recognition 视频动作识别的协同时空特征学习 论文地址：https://arxiv.org/pdf/1903.01197.pdf 作者：Chao Li, Qiaoyong Zhong, Di Xie, Shiliang Pu 本文为CVPR2019录用论...
video action transformer network
03-16
视频动作转换网络（Video Action Transformer Network）是一种用于视频动作识别和预测的深度学习模型。它采用了一种新颖的注意力机制，可以自适应地选择视频中最重要的帧和动作，从而提高了识别和预测的准确性。该...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值