《Video Action Transformer Network》阅读笔记（附Transformer的笔记内容）

最新推荐文章于 2024-09-13 22:08:51 发布
最新推荐文章于 2024-09-13 22:08:51 发布
阅读量3.2k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40133804/article/details/105454111
版权
本文介绍了Transformer模型在视频动作识别中的应用，通过Video Action Transformer Network，结合人物上下文信息进行动作识别。文章讨论了self-Attention机制，以及如何在模型中利用Transformer来处理序列信息，特别是在视频分析领域的实验结果表明，Transformer能够有效提高识别精度。
摘要由CSDN通过智能技术生成

Transformer

半年前刚开始踏入深度学习的时候，看李弘毅的视频了解了一点Transformer。这次的笔记也是基于李宏毅视频讲解的内容。

在处理seq2seq问题时，我们首先能想到的就时rnn，它的优势是能结合上下文把握全局，不足是，它的计算不能实现平行。如下图，要想得到b4，必须先计算出b1,b2,b3。但如果用cnn替换rnn那就可以实现并行了，只不过这样的cnn需要构建多层，如图右边（三角形就是cnn的结构）。
在这里插入图片描述
想结合上述rnn核cnn的优势，就有了self-Attention。

self-Attention

特点：能力和rnn一样，但优势在于可以同时计算b1-b4。
由a1,a2,a3,a4，乘以不同的w，得到相应的q，k，v。
在这里插入图片描述
然后拿每个q对每个k做Attention。如下所示：
在这里插入图片描述
得到阿法1,i后，进行softmax，然后再乘上各自的v，相加起来就得到b1了

最低0.47元/天 解锁文章
程序小翰
关注
《Video Action Transformer Network》
qq_34325086的博客
11-19 3364
这周阅读了《Video Action Transformer Network》这篇文章，发表于2019年度的CVPR，并且做了oral talk，作者是卡内基梅隆和Google的研究人员，代码开源在：http://rohitgirdhar.github.io/ActionTransformer。 模型的目标是针对视频中的某一帧进行动作的检测和分类（此帧中包含多个人物和不同的动作，类似于目标检测）...
Attention-aware deep reinforcement learning for video face recognition. 论文笔记
qq_39245207的博客
11-06 1305
清华大学的鲁继文等人[i]做了一个使用深度强化学习做的关于视频人脸识别的模型。将视频的注意力发现过程转化为马尔科夫决策过程，并通过深度强化学习框架训练注意力模型，不使用额外的标签。然而，视频人脸通常会出现不受控制的姿势、光照等变化，导致类内距离变大。一些特征会误导和混淆，使得低质量的帧可能会影响识别的性能。   要做的事情： YouTube Video Faces是用来做人脸验证的。在这个数...
Video-Action-Transformer-Network-Pytorch-:视频行动变压器网络的实现
05-01
视频动作变压器网络火炬 视频行动变压器网络的Pytorch和Tensorflow实现Rohit Girdhar，Joao Carreira，Carl Doersch，Andrew Zisserman 重新定义视频变压器（用途为RESNET基地）transformer_v1.py更像是真正的变压器，transformer.py更真实到什么纸通告用法： from transformer_v1 import Semi_Transformer model = Semi_Transformer(num_classes=num_classes , num_frames = max_seq_len) outputs, features = model(imgs) # outputs is the classification layer output (do cross entropy loss)
推荐项目: 视频动作识别——Video Action Transformer Network
gitblog_00044的博客
06-17 453
???? 推荐项目: 视频动作识别——Video Action Transformer Network 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，视频理解是一个极其活跃的研究方向，尤其是视频中的动作识别任务，它涉及到复杂的时间和空间模式的捕捉与解析。近期，在GitHub上发现了一款值得关注且值得尝试的开源项目：Video-Action-Transformer-Ne...
Video-Swin-Transformer 安装和配置指南
最新发布
gitblog_07478的博客
09-13 309
Video-Swin-Transformer 安装和配置指南 Video-Swin-Transformer 项目地址: https://gitcode.com/gh_mirrors/vi/Video-Swin-Transform...
【论文阅读】Video Action Transformer Network
正善有的博客
04-14 4420
Abstract 提出Action Transformer，一种利用Transformer架构聚合视频中进行动作的人的spatiotemopral context feature的动作分类和定位模型。 实验表明，通过使用high-resolution, person-specific, class-agnostic queries，模型可以学会追踪视频中的个人，并将个人的动作从其他动作中挑选出来。 Introduction 动作识别的难点之一是：推断一个人的动作经常需要理解**关注对象(person of
论文浏览(40) Video Action Transformer Network
清欢
09-10 844
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&有什么可以借鉴 0. 前言 相关资料： arxiv github（非官方代码，只有结构没有结果） 论文解读 项目网站 论文基本信息 领域：时空行为检测 作者单位：卡耐基梅隆大学 & DeepMind 发表时间：CVPR 2019 1. 要解决什么问题 就是想把 Transformer 的思路引入时空行为检测中。 判断人的行为之所以困难，有一步分原因在于行为类别需要依赖于目标人物周
论文阅读：Video Action Transformer Network
qq_36627158的博客
05-06 963
目录 Objective (Task) Motivation Proposed Method Trunk: I3D Region Proposal Network(RPN): Faster R-CNN Action Transformer Head Dataset Submission Format Result & Analysis Action classification with GT person boxes Localization performance (act
Video Transformer
afadgas的博客
04-25 729
动作识别
video_transformer
10-04
本exe文件是可以将任何视频转换成字符画，原理是按帧读取视频，计算其灰度值，然后进行转换，含有音频，内有操作指南。注意:帧选项可以回车跳过，视频越大，消耗时间越长
【论文笔记】OpenAI宫斗背后：发现了可能优于小鸡毛表现的机器人，AGI的希望 Q* search and Q transformer(A star search with Q-Learning)
Mango_Holi的博客
11-24 1350
通过离散化每个动作维度并将每个动作维度的Q值表示为单独的标记，我们可以应用有效的高容量序列建模技术进行Q学习。这里指的是类似无人驾驶的学习是有模拟环境的，建筑装修也有，但不会耗费极大的资源来建造一个无意义的制作爆米花的模拟环境，Q-Transformer在只有真实环境的训练数据下也可以学习。**可伸缩性(可扩展性)是一种对软件系统计算处理能力的设计指标，高可伸缩性代表一种弹性，在系统扩展成长过程中，软件能够保证旺盛的生命力，通过很少的改动甚至只是硬件设备的添置，就能实现整个系统处理能力的线性增长，实现高。
论文笔记C3D：Learning Spatiotemporal Features with 3D Convolutional Networks
Blssel的博客
03-23 1748
思考对视频进行描述，其描述子必须：1.具有普遍性以适应各种场景；2.必须短小紧凑3.必须利于计算4.必须易于实现图像识别中，特征提取的很完备和优秀，但不适用于视频。本文致力于利用3D CNN提取时空特征。我们只用线性分类器来分类它们，以验证特征好坏。并且这些特征可以被拿来做各种视频分析任务，无需针对任务再调整模型（就笔者知道的，包括video caption, temporal action det
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
[Video Transformer] VTN: Video Transformer Network
Cherry的笔记本
01-18 1448
https://arxiv.org/abs/2102.00719 SlowFast/README.md at master · bomri/SlowFast · GitHub ICCV2021 Video action recognition 总结：相当于把CNN+LSTM结构中的LSTM替换为VTN 适用于处理长视频，在inference时可以一次输入整个视频 模型框架是模块化的，2D backbone可以换成不同的网络，注意力模块也可以设置为不同的transformer模型...
Video Transformer Network
阿木寺的博客
02-02 3373
可与现有backbone结合，使其具有超强视频分类/理解的能力，如ViT/DeiT+ VTN 真香！训练速度提高了16.1倍，运行速度提高了5.1倍，代码和预训练模型即将开源！ 注1：文末附【Transformer】流群 Video Transformer Network 作者单位：Theator公司 论文：https://arxiv.org/abs/2102.00719 本文介绍了VTN，这是一种基于Transformer的视频识别框架。 受视觉Transformer最新发展的启发，我们放弃了基于3
探索视频分类的新境界：`video-transformers`
gitblog_00100的博客
06-20 415
探索视频分类的新境界：video-transformers video-transformersEasiest way of fine-tuning HuggingFace video classification models项目地址:https://gitcode.com/gh_mirrors/vi/video-transformers 在人工智能的世界中，视频理解是当前的热门研究领域之一，...
[Video Transformer] UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Lear
Cherry的笔记本
01-14 1700
UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Learning 论文： https://openreview.net/pdf?id=nBU_u6DLvoK ICLR 2022 1 Introduction 从高维视频中学习多尺度时空语义是很困难的，因为视频帧之间的全局依赖很复杂。 在图1中，TimeSformer在浅层中学习视频信息，但是空间和时间注意力都过于冗余。 空间注意力...
视频分类Video-Swin-Transformer
TF666666的博客
06-29 4763
Video-Swin-Transformer
video action transformer network
03-16
视频动作转换网络（Video Action Transformer Network）是一种用于视频动作识别和预测的深度学习模型。它采用了一种新颖的注意力机制，可以自适应地选择视频中最重要的帧和动作，从而提高了识别和预测的准确性。该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值