论文阅读 | Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification

最新推荐文章于 2024-05-17 21:59:03 发布
最新推荐文章于 2024-05-17 21:59:03 发布
阅读量127 收藏
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 cnn 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/129375445
版权

前言：ECCV2018年的论文，对视频分类的3D卷积进行了实验，发现在顶部（粗尺度）应用3D效果更好，以及进行时空可分离卷积效果更好

Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification

引言

CNN在图像分类那边取得了很惊人的效果，但在视频分类这边却不如图像分类一样效果。
我们提出了三个挑战：

  • 怎么更好的表示空间信息
  • 怎么更好的表示时间信息
  • 怎么更好的平衡性能和效率之间的关系

而我们在这篇文章中的工作主要解决了以下问题

  • 我们需要3D卷积吗？那些层可以被替换成2D？这是否是取决于数据集的不同？
  • 我们需要将时空卷积一起应用还是只要独立的进行时间和空间的卷积就好了？
  • 我们怎么用上述问题的答案来改进我们的网络使其变得更有效率？

实验

把3D换成2D

I3D网络结构
在这里插入图片描述
2D网络结构
在这里插入图片描述

其中的3D Inc 和2D Inc的结构
在这里插入图片描述
在两个数据集上的分类结果为
在这里插入图片描述
可以发I3D的效果整体比I2D要好，而I2D在进行了时间域上的反转之后并没有任何明显性能的改变，但是在something - something数据集上进行时间反转分类效果差很多，这说明3D是可以学到时域特征的；
（这里的反转后的类别怎么划分我不是很清楚，倘若类别是一致的话，一个人逐渐坐下和一个人逐渐站起来的视频分类会造成不一致，但是没有时域信息的话，这两组图片则有着相同的特征含义）

仅把部分层的3D替换成2D

这里作者主要是比较了 底部是3D卷积的网络
在这里插入图片描述
和顶部是3D卷积的网络
在这里插入图片描述
进行比较，实验结果如下：

在这里插入图片描述
可以发现，实线和虚线的比较，在两个数据集上，实线的结果好于虚线的结果，说明在顶部用3D的效果更好

将时空卷积进行分离

我们构建了一个时空卷积分离的3D网络
在这里插入图片描述
sep - Inc
在这里插入图片描述
该网络S3D和I3D的比较，参数量和计算量都减小了，但是性能提升了
在这里插入图片描述
而对于顶部和底部用3D的话，对于时空可分离卷积也是用在顶部效果好在这里插入图片描述
不同网络在不同层的分类可视化
在这里插入图片描述
作者解释，对于红色的类别，top-S3D 的分类更精确

时空特征门控

实际就是一个自注意力
在这里插入图片描述
作者将这个门控模块插入每一层的后面，得到一个S3D-G网络（没有可视化，不是太好理解具体怎么实现的）
在这里插入图片描述
可以看到性能有大幅提升
以及在另一个数据集上不同网络的比较
在这里插入图片描述

以及一些其他的实验
比如加了光流的分类
在这里插入图片描述
在其他数据集上微调
在这里插入图片描述
以及行为检测
在这里插入图片描述

总结

这里作者总结说有三个可以提升性能的点，就是在顶部用3D，时空分离卷积，门控，但是作者在设计自己的网络的时候，并没有采用这种，只在顶部用3D的网络，也没有对比I3D和Top-I3D的性能区别和参数量计算量的变化，而且最后的S3D-G的pipeline也没画出来，这点我很困惑

btee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
读论文Rethinking the Role of Demonstrations What Makes In-Context
03-09
【读论文】Rethinking the Role of Demonstrations What Makes In-Context Learning Work
深度学习之视频入门经典+视频分类+视频行为识别+行为检测+视频事件识别+事件检测--附带源码和作者主页
WJ_MeiMei的博客
11-22 2万+
视频研究入门经典   Labor-Free Video Concept Learningby Jointly Exploiting Web Videos and Images     intro: CVPR 2016     intro: Lead–Exceed Neural Network (LENN), LSTM     paper: https://www.microsoft.c...
（ECCV-2018）重新思考时空特征学习：视频分类中的速度-准确度权衡
顾道长生的知识库
05-10 1211
重新思考时空特征学习：视频分类中的速度-准确度权衡 paper题目：Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification paper是GoogLe Research 发表在ECCV 2018的工作 paper地址：链接 Abstract. 尽管采用卷积神经网络 (CNN) 在视频分析方面取得了稳步进展，但相对改进并没有 2D 静态图像分类那么剧烈。存在三个主要挑战
视频理解 S3D，I3D-GCN，SlowFastNet, LFB
SIGAI_CSDN的博客
12-19 7833
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 接着上次的《活体检测Face anti-spoofing综述》，再来讲讲arXiv上新挂的文章： 最近看了下几篇动作识别，视频理解的文章，在这里记下小笔记，简单过一下核心思想，以便后续查阅及拓展使用。 文章...
基于深度学习的Action Recognition（行为识别）【二】
热门推荐
事了拂衣去，深藏功与名
01-20 3万+
本文发表在：知乎专栏 看了近一个月的论文，对行为识别领域中目前主流的基于深度学习的方法算是有了基本的认识。但今天只做总结，关于每一篇论文的详细理解，之后有时间补上。也欢迎指正交流。 下图为目前主流模型的比较。其中T3D标称效果好于I3D，但由于结果是作者复现得来，故在这里不做比较。顺序自上向下按UCF101的准确率排列。
Rethinking Spatio temporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification
彦军的博客
07-06 1665
Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification 来源： ECCV 2018 文章链接：https://arxiv.org/abs/1712.04851 motivation 深度学习的出现带给了图像处理的各个领域巨大的提升，但是在视频方面却没有如此大的加速度。作...
【论文笔记】时空域特征学习的反思：视频分类中速度与精度的权衡
elaine_bao的专栏
10-12 3985
论文链接： rethinking spatiotemporal feature learning: speed-accuracy trade-offs in video classification Google Research & University of California San Diego 1. 文章想回答的3个问题 我们是否真的需要3d conv? 如果需要的话，哪些层我...
【论文阅读】Rethinking Spatiotemporal Feature Learning For Video Understanding
zzmshuai的博客
12-26 3186
【论文阅读】Rethinking Spatiotemporal Feature Learning For Video Understanding 这是一篇google的论文，它和之前介绍的一篇facebook的论文的研究内容非常相似链接地址，两篇论文放到ArXiv上只相差了一个月，但是个人感觉还是google的这篇写得好一些。（这篇博客解读的是早期版本的论文，后来新的版本的论文又在Somethin...
视频分类 S3D（separable 3D convolutions）模型及代码分析
Forrest97的博客
08-11 5461
S3D（separable 3D CNN）是ECCV 2018发表的关于视频分类模型，核心思想就是将原来的C3D网络替换为时域和空间域分离进行卷积的S3D网络，相比C3D网络，不仅模型参数量得到大幅减少，而且性能也得到提升。 原文Rethinking Spatiotemporal Feature Learning:Speed-Accuracy Trade-offs in Video Classification Introduction 第一段，概述视频分类问题和现有数据集Sports-1M [5], Ki
时空特征--Learning Spatiotemporal Features with 3D Convolutional Networks
AI小作坊 的博客
09-15 6615
Learning Spatiotemporal Features with 3D Convolutional Networks ICCV 2015 http://vlg.cs.dartmouth.edu/c3d/ https://github.com/facebook/C3D本文使用 3D CNN 来分析视频序列，学习到的时空特征称之为 C3D，主要寻找3D CNN 中的最优3D滤波器结构
03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model S
03-25
在阅读论文03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model Size for Effcient Trainning and Inference of Transformers，的结构按照金字塔原理进行整理
论文阅读Train Large, Then Compress: Rethinking Model Size for Effici
03-25
论文阅读时记录的内容和思考
PersonReID-TSF:AAAI 2020 论文代码 Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect
05-29
如果您发现此代码对您的研究有用，请考虑引用： @article{jiang2020rethinking, title={Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect}, author={Xinyang ...
论文笔记之---Speed and accuracy trade-offs for modern convolutional object detectors
He_is_all的博客
02-22 6971
Abstract 这篇文章主要权衡了三种被称为“元结构”（meta-architectures）的主流detector---Faster R-CNN，R-FCN 和SSD之间的精确率与速度。 Introduction 1.对于从业者来说，选择主流OD（object detector缩写）中的哪一款作为工具是一项比较难的任务，受制于程序运行时间和内存大小，mAP等数据也并不能够完全作为
论文阅读 - Anatomy of an AI-powered malicious social botnet
qq_40671063的博客
05-15 1006
大型语言模型（LLM）在生成跨不同主题的真实文本方面表现出令人印象深刻的能力。人们担心它们可能被用来制作具有欺骗性意图的虚假内容，尽管迄今为止的证据仍然是轶事。本文介绍了一个关于 Twitter 僵尸网络的案例研究，该僵尸网络似乎利用 ChatGPT 来生成类似人类的内容。通过启发式方法，作者识别了1,140 个帐户并通过手动注释对其进行验证。这些帐户形成了密集的虚假角色集群，这些角色表现出类似的行为，包括发布机器生成的内容和窃取的图像，并通过回复和转发相互互动。ChatGPT 生成的内容会。
StNet: Local and Global Spatial-Temporal Modeling for Action Recognition 论文阅读
weixin_44609958的博客
05-14 859
这篇论文探讨了视频中的空间-时间建模的最有效网络架构。与现有的CNN+RNN或纯粹基于3D卷积的方法不同，我们提出了一种新颖的空间-时间网络（StNet）架构，用于视频中的局部和全局建模。具体而言，StNet将N个连续的视频帧堆叠成一个超级图像，该图像具有3N个通道，并在超级图像上应用2D卷积来捕获局部空间-时间关系。为了建模全局空间-时间结构，我们在局部空间-时间特征图上应用时间卷积。具体来说，StNet提出了一个新颖的时间Xception块，它在视频的特征序列上分别使用通道级和时间级的卷积。
【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）
进阶中的程序员吃吃的博客
05-15 324
对3DGS原文进行翻译，以及部分理解。
论文阅读笔记：Equivariant Multi-Modality Image Fusion
HollowKnight的博客
05-16 835
论文阅读笔记：Equivariant Multi-Modality Image Fusion
【论文笔记】| 蛋白质大模型ProLLaMA
最新发布
m0_62249876的博客
05-17 768
利用低秩适应(LoRA)并采用两阶段训练方法，将任何通用 LLM 转换为能够同时处理多个 PLP 任务的 ProLLM，在无条件/可控蛋白质序列生成、蛋白质属性预测任务中取得了最先进的结果。layers (token可能在蛋白质序列和自然语言中具有不同的含义，需要对同一token进行不同的embedding)当前的 ProLLM 缺乏自然语言能力，这阻碍了多任务能力，利用预训练的 LLAMA2 对。（类比学习新语言，模型在保留原始自然语言能力的同时学习蛋白质语言）基于上述模型针对特定任务再次进行指令微调。
rethinking graph anomaly detection: a self-supervised group discrimination p
02-05
《重新思考图形异常检测：一种自我监督的群体区分》是一篇关于图形异常检测的研究论文。现有的异常检测方法通常依赖于人工标注的异常样本，但这种方法需要大量的标注工作和专家知识。因此，该论文提出了一种基于自我...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值