【PaperNotes】视频分类【一】

最新推荐文章于 2023-09-17 11:25:13 发布
最新推荐文章于 2023-09-17 11:25:13 发布
阅读量604 收藏
点赞数 1
分类专栏： 计算机视觉 PaperNotes 文章标签： 视频分类 PaperNotes 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26074263/article/details/105884591
版权
本文介绍了两种视频分类技术：Appearance-and-Relation Networks（ARTNet）和Hybrid Deep Learning Framework。ARTNet采用SMART blocks分离并明确地学习时空特征，优于3D卷积；而Hybrid框架结合CNN和LSTM，分别提取静态信息、短期运动和长期时间线索。实验表明，两者在Kinetics、UCF101和HMDB51数据集上表现出色。
摘要由CSDN通过智能技术生成
Appearance-and-Relation Networks for Video Classification
简介
  • 提出ARTNet，学习端到端的视频表征
  • ARTNets是由多个SMART blocks堆叠而来的，SMART可用于同时从RGB输入中建模出appearance与relation
  • SMART将spatiotemporal学习分为两部分：用于空间建模的appearance分支与用于时间建模的relation分支
  • appearance分支：每帧的像素或是过滤器responses的线性结合
  • relation分支：跨多帧的像素与filter responses之间的multiplicative interactions
  • 文中实验数据集：Kinetics, UCF101, HMDB51，证明了SMART blocks在时空域特征学习中表现优于3D卷积，且ARTNet SOTA
网络结构

Video architecture comparison
图a是一个two-stream CNNs，图b是3D CNNs:
在这里插入图片描述
图c就是本文提出的基于SMART building block的ARTNet的结构：
在这里插入图片描述
可以看到，two-stream CNNs有两个输入分别是RGB frame与optical flow，3D CNNs则是通过单个3D卷积联合且implicitly来建模的。ARTNet采取一种appearance与relation的分支方式，来分开的显示的同时建模。

SMART blocks

  • (a)中的3D卷积学习时空域特征jointly and implicitly
  • (b)中的square-pooling层结构是本文首次提出的，用于学习独立于appearance外的帧间关系学习
  • ©进而构造出了SMART block来学习时空域特征separately and explicitly，下半部分是使用了2D卷积的appearance分支，用于捕捉静态结构，上半部
最低0.47元/天 解锁文章
cubeFUN
关注
专栏目录
【论文笔记】视频分类系列 Appearance-and-Relation Networks for Video Classification (ARTNet)
elaine_bao的专栏
03-05 4946
时间空间域的特征学习对于视频分类来说很重要。文章提出了Appearance-and-Relation Networks（ARTNet）的结构，用于end-to-end地学习视频时间空间域的特征。 ARTNet是由多个名为SMART的block堆叠而成。SMART模块的目标是从RGB帧中分别学习到appearance和relation。
【PaperNotes】视频分类【二】监督式端到端CNN系列
CUBE的博客
05-06 473
（1） 监督学习方法 i. 基于图像的视频分类：将视频片段视为视频帧的集合，每个视频帧的特征通过ImageNet数据集上预先训练的最高水平的深度模型（如AlexNet，VGGNet，GoogLeNet，ResNet）进行获取。最终，帧层特征汇聚为视频层特征，作为标准分类器（如SVM）识别的输入。 ii. 端到端的CNN网络：关注于利用CNN模型学习视频隐含的时空模式，如3D CNN，Two-str...
Videos-Classification-Datasets:视频分类数据集和论文
03-28
视频分类数据集 视频分类数据集和论文。 第一部分：ImageNet论文 年 杂志 数据集 号码 班级 任务类型 苏打 主页 出版物 2009年 心肺复苏术 Year DataSets Videos Calsses Type of Task SOTA Websites Publication CVPR 2009 ImageNet ImageNet：大型分层图像数据库AAAI 2012 ImageNet 视觉对象检测的众包注释ICCV 2013 ImageNet 检测鳄梨到西葫芦：我们做了什么，我们要去哪里？ AMC（CHI）2014 ImageNet 可扩展的多标签注释IJCV 2015 ImageNet ImageNet大规模视觉识别挑战赛 第一部分：视频文件 <style> table th：first-of-type {width：150px; } </ style> 年 杂志
视频分类4
NLP与推荐算法
12-11 2138
鉴于上次分类结果不容乐观，故而本次增加了0视频，此次测试结果如下： 一、实际是0视频，误判帧率，共200多个完整短视频视频[未切分] The total frames number=1474,error rate =0.0000 The total frames number=1315,error rate =0.0274 The total frames number=1472,erro...
Video-Classification-2-Stream-CNN, 2流CNN视频分类.zip
09-18
Video-Classification-2-Stream-CNN, 2流CNN视频分类 基于两流的视频分类算法我们分别利用 VGG-16 和cnn的空间和时序流对视频信息进行建模。 LSTMs堆叠在CNNs之上，用于建模视频帧之间的长期依赖关系。 有关更多信息，请参阅以下文件：两流卷积网络在视频识别中的动作识别用于视频分
视频分类论文
xiaxuesong666的博客
02-19 2706
Video Classification image-based methods Zha S, Luisier F, Andrews W, et al. Exploiting Image-trained CNN Architectures for Unconstrained Video Classification[J]. Computer Science, 2015. Sánchez ...
【PaperNotes】时间交错网络Temporal Interlacing Network
CUBE的博客
04-30 1831
论文链接 相关知识点 Temporal Models 时间模型依赖于时间相关的状态与sensor变量如下： Xt:时间t下的不可直接观测状态集合 Et:时间t下的可观测的迹象变量 Markov假设： Xt依赖于X0:t-1的有限子集 First-order Markov过程： P(Xt|X0:t-1) = P(Xt|Xt-1) Second-order Markov过程：P(Xt|X0:t-1) ...
长期视频的时间对齐网络
University of Oxford2Shanghai Jiao Tong Universityhttps://www.robots.ox.ac.uk/˜vgg/research/tan/29060长期视频的时间对齐网络0摘要本文的目标是设计一个时间对齐网络，该网络接收长期视频序列和相关文本句子...
"基于多粒度超图学习的视频身份识别
inceptioniai.org，yingtai@tencent.com摘要空间基于视频的人物再识别（re-ID）是计算机视觉领域的一个解决这一难题的关键是充分利用视频序列中的空间和时间线索。在这项工作中，我们提出了一种新的基于图的框架，即...
论文笔记--Appearance-and-Relation Networks for Video Classification
Never-guess的博客
12-20 1929
Appearance-and-Relation Networks for Video Classification是王利民组2017年底的发表的一篇工作。 主要工作是在3D卷积的基础上，提升了action recognition的准确率，而且没有像目前主流的two-stream方法那样使用使用光流信息，因为光流的提取速度特别慢，这是一个未来的研究趋势，更不会像IDT那套方法一样计算复杂。 虽然目
计算机视觉算法中的视频分割（Video Segmentation）
最新发布
牛肉胡辣汤
09-17 1232
基于空间的分割是指将视频中的每一帧分割成多个区域，每个区域代表一个独立的对象或事件。基于时间的分割是指将整个视频序列分割成多个片段，每个片段代表一个独立的对象或事件的持续时间段。随着计算机视觉技术的不断发展，视频分割（Video Segmentation）作为一种重要的计算机视觉算法，正逐渐成为研究和应用的热点。视频分割是指将视频序列分割成多个连续的、相对独立的部分，每个部分代表视频中的一个独立的对象或事件。未来，视频分割技术将在更多的领域中得到广泛的应用，并对社会产生积极的影响。
计算机视觉分类
大光头
11-18 1987
计算机视觉是一个专注于分析并深层次理解图像和视频数据的人工智能领域。计算机视觉领域最常见的问题包括： ① 图像分类 图像分类是教模型去识别给定的图像的一种计算机视觉任务。例如，训练一个模型去识别公共场景下的多个物体(这可以应用于自动驾驶)。 ② 目标检测 目标检测是教模型从一系列预定义的类别中检测出某一类别的实例，并用矩形框框注出来的一种计算机视觉任务。例如，利用目标检测来构建人脸识别系统...
2017-Appearance-and-Relation Networks for Video Classification视频分类中的外观与关系网络
qq_41956697的博客
03-24 253
arxiv: https://arxiv.org/abs/1711.09125 github: https://github.com/wanglimin/ARTNet 本文提出一种新的架构，学习视频时空特征，称为外观和关系网络（Appearance and Relation—ARTNet），以学习视频表示的端到端方式。ARTNET是通过堆叠多个通用构建块，称为SMART，来构建的，其目标是以单独和明确的方式同时从RGB输入中建模外观和关系。具体而言SMART块将时空学习模块解耦为用于空间建模的外观分支.
【每周CV论文推荐】初学视频分类与行为识别有哪些值得阅读的论文？
hacker_long的专栏
09-08 438
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。随着图像识别相关领域的研究与应用逐渐成熟，当下视频分析相关的研究和应用所占比例越来越大，其技术也更加复杂。视频分类和行为识别在视频监控与检索、网络直播、推荐系统等行业中有着广泛的应用，是深度学习在视频分析领域中最底层的问题之一，非常值得关注和学习。作者&am...
cv方向有哪些_【星球知识卡片】视频分类与行为识别有哪些核心技术，对其进行长期深入学习...
weixin_39799565的博客
11-17 171
大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享视频分类的核心技术点。作者&编辑 | 言有三 1 3D卷积视频相对于图像多出了一个维度，而3D卷积正好可以用于处理这个维度，因此也非常适合视频分类任务，不过缺点是计算量比较大，下图展示了一个简单的3D模型。 2 RNN与LSTM视频和语音信号都是时序信号，而RNN和LSTM正是处理时序信号的模型，也是早期用于视频分类的重...
CV综述图像分类整理---目录
weixin_42466194的博客
07-15 3946
图像任务综述图像任务图像分类目标检测图像分割模型选择图像增强视频任务 图像任务 图像分类 目标检测 图像分割 模型选择 maskrcnn 1 评价指标： Average Precision：准确率 inference速度： k-means 图像增强 视频任务 ...
【论文笔记】视频分类系列 Temporal Relational Reasoning in Videos （TRN）
elaine_bao的专栏
06-20 1万+
Paper：https://arxiv.org/abs/1711.08496v1 Code：https://github.com/metalbubble/TRN-pytorch 作者：Bolei Zhou, Alex Andonian, Antonio Torralba (CSAIL, MIT) 简述 时间关系推理（Temporal relational reasoning）是指理...
计算机视觉有哪些类别？各类别常用模型发展历程——未完待续
yang_zm的博客
07-13 3601
计算机视觉应用可以分为： 1、图片识别(Image Classification) 2、目标 检测(Object Detection) 3、语义分割(Semantic Segmentation) 4、视频 理解(Video Understanding) 5、图片生成(Image Generation) 1、图片识别(Image Classification) 常见的分类问题，神经网络的输入为图片，输出为样本属于各个类别的概率，选取概率值最大的类别作为样本的预测类别。 经典的网络模型有 VGG 系列、Ince
深度学习视频数据集（动作识别）：UCF-101
热门推荐
米之炼金术师的博客
06-30 1万+
UCF-101 官网：https://www.crcv.ucf.edu/research/data-sets/ucf101/ 网盘：链接：https://pan.baidu.com/s/1RsJuykWyUlQ4_c1TwqxR_Q 提取码：909g 官方解释 UCF101是一个现实动作视频的动作识别数据集，收集自YouTube，提供了来自101个动作类别的13320个视频。 该数据集是UCF50数据集的扩展，UCF50数据集有50个动作类别。 UCF101在动作方面提供了最大的多样性，并且在摄像机运动、对
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值