论文笔记--Appearance-and-Relation Networks for Video Classification

最新推荐文章于 2024-08-15 17:20:12 发布
置顶 最新推荐文章于 2024-08-15 17:20:12 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： 计算机视觉 文章标签： 行为识别 3D卷积 视频分类 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20791919/article/details/78853278
版权

Appearance-and-Relation Networks for Video Classification是王利民组2017年底的发表的一篇工作。
主要工作是在3D卷积的基础上，提升了action recognition的准确率，而且没有像目前主流的two-stream方法那样使用使用光流信息，因为光流的提取速度特别慢，这是一个未来的研究趋势，更不会像IDT那套方法一样计算复杂。
虽然目前的state of art仍然是IDT那套。

话不多说，先给出王利民组的干货链接：
https://github.com/wanglimin/ARTNet

摘要
ARTNet主要是由SMART blocks 通过stacking的方法组合起来，就好像ResNet主要是由Residual blocks组合起来一样。它是一种直接输入RGB视频图像的端到端的视频理解模型。

1.介绍
这里写图片描述
这张图上从左到右，依次画出；Two-Stream，C3D和ARTNet的结构，可以看出后者对于前两者在结构上有一个很好的整合。
ARTNet是基于C3D-ResNet18实现的，训练的时候采用了TSN的稀疏采样策略。
这篇论文的主要贡献在于三个方面：第一，提出了SMART blocks块；第二，通过stacking的方法得出了ARTNet网络；第三，刷新了仅使用RGB输入的行为识别准确率。

2.相关工作
深度学习方面，主要有Two-Stream,C3D,LSTM三种方法的尝试，目前最好的是Two-Stream方法，本文看好C3D的方法，所以基于此方法做了改进。而LSTM相关的RNN方法效果暂时不明显，研究较少。
模型方面，本文的一大亮点是能量模型，使用了一种近似square-pooling的结构。与原结构不同之处在于三点：第一，从无监督到了有监督；第二，从仅有relation到有appearan

最低0.47元/天 解锁文章
Never-guess
关注
专栏目录
2017-Appearance-and-Relation Networks for Video Classification视频分类中的外观与关系网络
qq_41956697的博客
03-24 250
arxiv: https://arxiv.org/abs/1711.09125 github: https://github.com/wanglimin/ARTNet 本文提出一种新的架构，学习视频时空特征，称为外观和关系网络（Appearance and Relation—ARTNet），以学习视频表示的端到端方式。ARTNET是通过堆叠多个通用构建块，称为SMART，来构建的，其目标是以单独和明确的方式同时从RGB输入中建模外观和关系。具体而言SMART块将时空学习模块解耦为用于空间建模的外观分支.
【论文笔记】视频分类系列 Appearance-and-Relation Networks for Video Classification (ARTNet)
elaine_bao的专栏
03-05 4935
时间空间域的特征学习对于视频分类来说很重要。文章提出了Appearance-and-Relation Networks（ARTNet）的结构，用于end-to-end地学习视频时间空间域的特征。 ARTNet是由多个名为SMART的block堆叠而成。SMART模块的目标是从RGB帧中分别学习到appearance和relation。
【人工智能】Transformers之Pipeline（十）：视频分类（video-classification）
最新发布
人工智能领域博客
08-15 2837
本文对transformers之pipeline的视频分类（video-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用代码极简的代码部署计算机视觉中的视频分类（video-classification）模型，应用于视频判别场景。
【CVPR2018，action recognition,动作识别】Appearance-and-Relation Networks for Video Classification...
10-25 204
Appearance-and-Relation Networks for Video Classification,CVPR2018 Two-tream网络效果好，但是太耗时；2Dconv+LSTM和其他方式的效果又不太好，主要是因为LSTM只能抓住高层次的模糊信息，不能抓住细粒度的运动信息。3Dconv的效果到目前为止也不太好。所以作者提出了一个新的网络结构---ARTNet，用叫做S...
【PaperNotes】视频分类【一】
CUBE的博客
05-02 594
Appearance-and-Relation Networks for Video Classification 简介 提出ARTNet，学习端到端的视频表征 ARTNets是由多个SMART blocks堆叠而来的，SMART可用于同时从RGB输入中建模出appearance与relation SMART将spatiotemporal学习分为两部分：用于空间建模的appearance分支与用...
[深度学习论文笔记][Video Classification] Long-term Recurrent Convolutional Networks for Visual Recognition a
Hao_Zhang_Vision的博客
11-17 1759
Donahue, Jeffrey, et al. ”Long-term recurrent convolutional networks for visual recognition and description.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. (Cit
行为识别论文笔记|ARTNet|Appearance-and-Relation Networks for Video Classification
njuptalex的博客
11-30 382
视频理解论文笔记-ARTNet-Appearance-and-Relation Networks for Video Classification Wang, Limin, et al. “Appearance-and-relation networks for video classification.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Motivation 3 k
论文笔记：ARTNet、Non-local Neural Networks
qq_40133804的博客
03-01 480
《Appearance-and-Relation Networks for Video Classification》 链接: https://arxiv.org/abs/1711.09125. 这篇文章中，作者认为在分类视频工作时最主要要抓住两点，1是每一帧的静态外观，2、是跨多帧之间的时序关系。 帧的静态外观很好提取，处理视频最重要的难点就在于如何表示多帧之间的时序关系。主流的做法有两种，1...
论文阅读-《Relation Networks for Object Detection》
热门推荐
yj_isee的博客
12-02 1万+
MSRA jifeng dai1.abstract:在目标检测领域，model object之间的关系能够提高检测的准确度，但是这种方法在基于深度学习的模型中还没有很好的work。当下主流的目标检测的方法还是对各个物体进行单独的检测，本文提出了一种object relation module，通过引入不同物体之间的外观和集合关系做interaction，实现对物体之间relation的建模。rela
行为识别——论文整理（2）
qq_18644873的博客
12-25 1626
2018年行为识别文献
Fusing Multi-Stream Deep Networks for Video Classification
06-08
《Fusing Multi-Stream Deep Networks for Video Classification》的PPT（我制作的）和相关文献。
Relation Network笔记
Patrick Star的博客
08-16 1万+
论文：A simple neural network module for relational reasoning github代码: https://github.com/siddk/relation-network 1.Introduction智能行为很重要的一点就是能够推理实体间的关系。这一点CNN和MLP都做的不好。这篇文章提出了Relation Networks(RNs), 并且在vis
ECO: Efficient convolutional Network For online video understanding（在线视频理解，实时，动作分类，视频描述）
xiayuanma的专栏
05-21 4782
问题： 1. 大部分推理均是局部进行的，丧失了跨越数秒的动作内的重要关系 2. 尽管有快速桢处理的局部方法，整个视频的处理效率不高，有损在线长视频分类检索的效率 本文： 引入一网络结构（考虑进了长视频和短视频，同时能使快速实现每个视频（per-video）的处理） 该结构基于融合网络中的长程内容，而不是post-hoc fusion。 采用采样策略（相邻帧大多是冗余的），产生能达到...
Video Analysis 入门
Wayne2019的博客
12-27 4924
总结一些入门资料。
SlowFast 论文解读以及记录
qq_39598271的博客
05-11 843
引言 自然图片：I(x,y)I(x,y)I(x,y)，x与y同等对待 视频信号：I(x,y,t)I(x,y,t)I(x,y,t)，x，y与t不能同等对待 常规的三维时空卷积是不合理的 时间和空间分别训练的策略——研究进展缓慢 动作motion的语义划分策略——研究更新缓慢 某些motion要比先前的识别目标更加快（clap，wave，shake）——需要重视快动作 Fast Pathway——捕获动作的快速变化、高帧率、参数量小 Slow Pathway——捕获空间域和语义信息、低帧率、参数量大
2015-【精读】Fusing Multi-Stream Deep Networks for Video Classification
qq_41956697的博客
12-30 470
本文利用多模态线索进行视频分类，结合了音频信息进行建模，在UCF-101数据集上最后有音频与无音频信息实验结果相差0.4%。使用了三个卷积神经网络分别对空间、短期运动和音频线索进行建模，在卷积神经网络的空间和短期运动特征上进一步采用LSTM进行长期时间建模。然后使用提出的融合方法，自适应地学习每个类别的融合权重
读书笔记：Beyond Short Snippets: Deep Networks for Video Classification
kmyfoer的博客
06-20 776
主要关注两个点：如何获取视频全局上的表达（考虑更长的时序上的信息），在获取全局表达时如何避免冗余的计算量（相比3D卷积核直接应用在所有frame stacks）。 主要工作 Feature Pooling Architectures LSTM Architecture 其他 主要工作 论文中讨论了两种方法，一种是提取每一帧的深度卷积特征，再使用不同的pooling...
[翻译]Beyond Short Snippets: Deep Networks for Video Classification
weixin_42164269的博客
06-14 2787
摘要 卷积神经网络（CNNs）被广泛应用于图像识别问题，在识别、检测、分割和检索方面提供了最先进的结果。在这项工作中，我们提出并评估了几个深度神经网络架构，将在一个视频中更长时间的图像信息结合起来。我们提出了两种处理全长度视频的方法。第一个方法探索了各种卷积时间特征池架构，研究了在为这个任务调整CNN时需要做出的各种设计选择。第二种方法明确地将视频建模为一个有序的帧序列。为此，我们使用了一个循环...
Guns与Ng-Alain编码规范详解
public Relation computeRelation(Relation relation) { ... } ``` 9. 变量注释示例： ``` /** * 用户角色ID */ private Long roleId; ``` 遵循这些编码规范，可以提高代码的可读性和团队间的沟通效率，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值