【论文阅读笔记】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks

最新推荐文章于 2024-05-24 10:01:53 发布
最新推荐文章于 2024-05-24 10:01:53 发布
阅读量2.4k 收藏 7
点赞数
分类专栏： 论文阅读笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bpp94_github/article/details/83092562
版权
本文介绍了Pseudo-3D Residual Networks（P3D ResNet），这是一种经济有效的3D CNN替代方案，用于视频特征学习。为解决3D CNN的内存消耗和计算成本问题，P3D ResNet采用2D空间卷积和1D时间卷积的组合。通过解耦3D卷积核，P3D ResNet减少了参数数量，并利用2D CNN的预训练知识提升性能。实验表明，P3D ResNet在行为识别、动作相似判断和场景识别等任务中表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

代码地址：https://github.com/ZhaofanQiu/pseudo-3d-residual-networks

主要贡献：以经济且有效的方式构建了仿3D卷积神经网络模型：P3D ResNet

出发点：3D 卷积神经网络能够同时学习到视频的时间和空间特征，但是存在所需内存大和计算成本高的问题，导致难以构建更深层的3D CNN，因此提出了用二维空间卷积和一维时间卷积来模拟3D卷积的想法，这种想法更经济，而且还将这种设计整合到一个深度残差学习框架中，能够很好地用于视频特征表达。

P3D Blocks

主要思想为将3D卷积核3X3X解耦为1X3X3和3X1X1的卷积核。这样不仅能够减少参数数量还能够利用预训练好的2D CNN，利用从图像中学习的场景和对象的知识使伪3D CNN性能更好。

P3D Blocks的灵感来源于ResNet，P3D Blocks用于代替ResNet的Residual Units。为了研究空间维度（S）上的2D卷积核和时域（T）上的1D卷积核并联还是串联效果好，设计了三种结构如上图所示。

P3D-A：

最低0.47元/天 解锁文章
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
LYKymy的博客
09-21 1533
Abstract 卷积神经网络（cnn）被认为是一类有效的图像识别模型。然而，当利用CNN学习时空视频表示时，这并非不平凡。一些研究表明，执行3D卷积是一种捕获视频中时空维度的有益方法。然而，从头开始开发非常深的3d cnn会导致昂贵的计算成本和内存需求。一个有效的问题是，为什么不为3D CNN回收现成的2D网络。在本文中，我们通过在空间域（相当于2D CNN）上模拟3×3×3卷积滤波器（相当于...
论文笔记《Spatio-Temporal Graph Structure Learning for Traffic Forecasting》
mintminty的博客
12-15 2612
【论文】 Zhang Q, Chang J, Meng G, et al. Spatio-Temporal Graph Structure Learning for Traffic Forecasting[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(01): 1177-1185. 【代码】 暂无 本篇文章主要是解决如何建模复杂、动态的空间依赖性问题，作者认为现在用的图卷积神经网络存在以下几个问题：.
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks论文学习
calvinpaean的博客
03-23 883
Abstract CNN 在图像识别领域是非常有效。但是用一个CNN学习时空视频特征就没那么简单了。有一些研究指出了，3D卷积在获取视频时空维度信息上是有帮助的。但是，3D CNN 要是非常深的话，就会非常消耗算力和内存。那么为什么不在3D CNN中使用现成的2D卷积呢？这篇论文针对残差网络设计了 bottleneck 构建模块的多个变体，在空间域用1×3×31\times 3\times 31×...
《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》算法详解
Michael’s Blog
08-08 1113
论文: Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 官方代码(caffe): https://github.com/ZhaofanQiu/pseudo-3d-residual-networks 非官方(pytorch): https://github.com/qijiezhao/pseudo-3d-pytorch 由微软和中科大提出 被ICCV2017收录 一、核心创新 提出将3D卷积进行时间和空间的.
【论文阅读】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
zzmshuai的博客
12-20 3605
【论文阅读】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 虽然这是一篇17年ICCV的论文，但是这篇论文里没有使用kinetics数据集，可能应该是作者做相关实验的时候kinetics数据集还没有发布吧，作者关注当时的3D卷积网络计算效率低、参数量大的问题。所以从减少参数量的角度切入，想到了将 3D...
P3D——《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》概述
一只攻城狮的博客
05-28 2211
《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》概述 引言： 最近阅读了本篇发表在ICCV’17上的论文，本文主要的贡献在于提出来了新的网络结构P3D，以及对于P3D网络结构组合的探究，最近又在想是不是可以在3维立体的视频中，对物体的行为进行感知，这可以结合三维重建方面的工作来探索，希望有大佬阅读了这篇博客可以发表一下自己的看法，以下是对本篇论文的概述，由于受水平的限制，如有错误，欢迎留言指正。 一、主要
Learning spatio-temporal representation with pseudo-3D residual networks
最新发布
04-03
伪3D残差网络（Pseudo-3D Residual Networks, P3D）是一种通过分解3D卷积操作来高效学习视频数据中时空特征的方法。这种方法的核心在于将复杂的3D卷积运算分为时间维度上的1D卷积和空间维度上的2D卷积，从而显著降低...
Pseudo-3D Residual Networks 算法笔记
热门推荐
AI之路
01-06 1万+
论文：Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 论文链接：http://openaccess.thecvf.com/content_ICCV_2017/papers/Qiu_Learning_Spatio-Temporal_Representation_ICCV_2017_paper.pdf
ICCV2017 : 伪3D卷积：Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
zichen7055的博客
10-30 2351
原文地址：https://ieeexplore.ieee.org/document/8237852 伪3D卷积 论文中caffe代码地址：https://github.com/ZhaofanQiu/pseudo-3d-residual-networks                 tensorflow代码：https://github.com/yfxc/pseudo-3d-tensorfl...
（ICCV-2017）使用伪 3D 残差网络学习时空表示
顾道长生的科研笔记
04-16 2214
使用伪 3D 残差网络学习时空表示 paper题目：Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks paper是中国科学技术大学发表在ICCV 2017的工作 paper链接：地址 Abstract 卷积神经网络 (CNN) 是用于图像识别问题的一类强大的模型。然而，使用 CNN 学习时空视频表示，这并非易事。一些研究表明，执行 3D 卷积是一种捕获视频中空间和时间维度的有益方法。然而，从头开始开发
pseudo-3d-tensorflow:伪 3d 残差网络的 Tensorflow 实现
05-30
伪3d张量流 用于伪 3d 残差网络的 Tensorflow 实现。 作者 yfxc 电子邮件 张量流 1.10+（不支持2.0） 介绍 Pseudo-3d-residual-network 主要用于动作识别，论文网址： : 这是张量流版本。 准备自己的数据集。 假设您将要使用 UCF 数据集。首先需要将视频转换为图像。 为此，您可以运行如下代码：（假设 UCF-101 数据集与代码文件位于同一目录中。） ./process_video2image.sh UCF101 下一步，您应该获得 train.list 和 test.list，之后您将分别从中获取训练数据和测试数据：（数字“5”表示所有数据的五分之一是测试数据。） ./process_gettxt.sh UCF101 5 注意：由于'train.list'和'test.list'中存在视频片段的Relative
Pseudo-3D Residual Networks
woyuanzuonideyikeya的博客
07-31 1686
在视频分类或者理解领域， 容易从图像领域的2D卷积联想到3D卷积来做。虽然采用3D卷积进行特征去可以同时考虑空间和temporal维度的特征，但是计算成本和模型存储的都太大，因此这篇文章针对视频采用3D卷积进行改造，提出了Pseudo-3D Residual Net（P3D ResNet）思想类似为当年的Inception V3 中用1*3 和3*1 的卷积叠加代替原来的3*3卷积。这篇文章是采...
Pseudo-3D Residual Networks算法的pytorch代码
guifeng93的博客
11-12 782
作者：AI之路 原文：https://blog.csdn.net/u014380165/article/details/78986430 本篇博客是对第三方实现的Pseudo-3D Residual Networks算法的pytorch代码进行介绍，介绍顺序为代码调试顺序，建议先阅读论文或相关博客。 论文：Learning Spatio-Temporal Representation with ...
CVPR 2021 AGQA: A Benchmark for Compositional Spatio-Temporal Reasoning
smile909的博客
04-29 743
动机 视觉事件是由一个涉及演员和物体的空间交互的时间动作组成的。人们对利用问答来实现视频推理能力的兴趣与日俱增。 现有的视频问答基准是有用的，但它们往往将多个误差源混入一个准确性度量中，并且具有模型可以利用的强烈偏差，使得模型的弱点很难精确定位。 对于现有的视频问答基准，由于答案分布的偏差和视觉事件发生的非均匀分布，模型可能会发展出“cheating”的方法，这种方法可以表面上猜测答案，而不学习潜在的合成推理过程。 视觉领域只开发了使用静态图像或同步世界的组合问答基准，这些静态图像或同步世界要么不是时空
探索PyTorch中的伪3D深度学习：`pseudo-3d-pytorch`
gitblog_00041的博客
04-18 371
探索PyTorch中的伪3D深度学习：pseudo-3d-pytorch pseudo-3d-pytorchpytorch version of pseudo-3d-residual-networks(P-3D), pretrained model is supported项目地址:https://gitcode.com/gh_mirrors/ps/pseudo-3d-pytorch 项目...
推荐开源项目：Pseudo-3D Residual Networks - 视频理解的新里程碑
gitblog_00071的博客
05-24 368
推荐开源项目：Pseudo-3D Residual Networks - 视频理解的新里程碑 pseudo-3d-residual-networksPseudo-3D Convolutional Residual Networks for Video Representation Learning项目地址:https://gitcode.com/gh_mirrors/ps/pseudo-3d-r...
世嘉MD游戏开发【十二】：伪3D地面，Pseudo-3D
12-08 2557
终于讲到伪3D效果了，这一块比较棘手，我从github上下载的老外写的例子一点点研究，研究了两三天才研究出原理，其实原理很TM简单，主要是那个老外写的代码太烂了，写了很多没用的东西，而且算法上还啰里啰嗦的不清楚，导致我阅读起来很费劲，我不知道有些代码到底干了些啥，事实上有些代码真的是相当于啥也没干，我真是无语了。而且注释还是西班牙语。。。 再就是定点小数的问题困扰了我半天的时间，虽然最后没搞...
驾驶员行为识别论文研读（一）---LearningMotionRepresentationforActionRecognition
小膜仙的博客
03-21 3557
1.论文名称：ActionFlowNet: LearningMotionRepresentationforActionRecognition 2.可用的方法： 利用 local patches 的轨迹； spatio-temporal 联合的手工特征； 从光流运动中得到的深度特征，这是个像素级别的短期特征表达； 还有用两个卷积神经网络的，分别利用静态图像学习appearance ，和利用 opti...
【视频理解】四、P3D
traveller的博客
11-06 536
P3D
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值