【论文复现PaddlePaddle】 Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognit

最新推荐文章于 2022-12-05 20:52:58 发布
最新推荐文章于 2022-12-05 20:52:58 发布
阅读量444 收藏 1
点赞数
文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/monianxixue/article/details/107841117
版权
本文介绍了基于PaddlePaddle复现的论文——使用3D残差网络学习时空特征进行动作识别。对比了2D ResNets和C3D网络，3D ResNets在ActivityNet和Kinetics数据集上展示出优越性能，尤其是在大规模数据集上避免过拟合。
摘要由CSDN通过智能技术生成

【论文复现PaddlePaddle】 # Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition（一）论文阅读

这篇文章是一篇2017ICCV ，该篇论文提出了一种基于2D ResNets 的3D ResNets网络结构。

卷积神经网络在动作识中有着较高的性能，基于CNN的动作识别的流行方法之一是二维卷积核的双流CNN，由RGB和叠加光流帧组成的双流体系结构来获取视频中的时空信息。另一种是使用3D卷积核提取视频中的时空特征。由于已有的C3D网络会产生大量参数，整个网络的体系结构相对较浅，对动作的识别还不够，于是作者就加入了ResNets网络。
尽管模型的参数依然很多，但是比相对较浅的网络(如 C3D)获得了更好的性能。

网络结构

论文中提出了一种3D ResNets 的网络结构。输入大小为3 × 16 × 112 × 112。每个卷积层后面都有批归一化和RELU。 下采样由conv3_1, conv4_1, conv5_1执行, 步长为2。最后一个完全连接层的维度被设置为Kinetics数据集（400个类别）

残差结构
网络结构

最低0.47元/天 解锁文章
monianxixue
关注
论文笔记C3D：Learning Spatiotemporal Features with 3D Convolutional Networks
Blssel的博客
03-23 1760
思考对视频进行描述，其描述子必须：1.具有普遍性以适应各种场景；2.必须短小紧凑3.必须利于计算4.必须易于实现图像识别中，特征提取的很完备和优秀，但不适用于视频。本文致力于利用3D CNN提取时空特征。我们只用线性分类器来分类它们，以验证特征好坏。并且这些特征可以被拿来做各种视频分析任务，无需针对任务再调整模型（就笔者知道的，包括video caption, temporal action det
【论文阅读笔记】Learning Spatiotemporal Features with 3D Convolutional Networks
bbp94_github的博客
09-06 738
论文主要贡献： 1.验证了3D卷积神经网络能够同时捕捉外观和运动信息，是优秀的特征提取器。 2.在特定的构架内，3X3X3的卷积核在所有层中都表现出最好的效果。 3.3D卷积神经网络提取出的特征结合线性模型分类器所得到的结果在6个数据集（4个识别任务）中都有突出的性能。 好的视频特征描述应该包含如下特征： a）具有通用性，对任意类型的视频都能够有好的描述效果。 b）特征足够紧凑，紧...
【论文阅读】Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition
zzmshuai的博客
12-12 3191
【论文阅读】Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition 这是2017ICCV workshop的一篇文章，这篇文章只是提出了一个3D-ResNets网络，与之前介绍的一篇文章链接地址非常非常相似，在结构上只有一点点不同，既然如此，那么我为什么还要介绍这一篇文章呢，因为本文最大的...
论文笔记：3D Residual Networks for Action Recognition（飞浆复现）
wangpan007的博客
08-06 746
论文笔记：3D Residual Networks for Action Recognition（飞浆复现） 文章目录1、 Abstract2、Introduction3、Related Work2.1.、Action Recognition Database2.2、 Action Recognition Approach3、3D Residual Networks3.1、Network Architecture4、Experiments5、Conclusion 1、 Abstract 具有时空三维核的卷积
动作识别阅读笔记(二)《Learning Spatiotemporal Features with 3D Convolutional Networks》
mhz9123的博客
02-05 652
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体...
C3D-lstm_lstmpytorch_c3d论文复现_C3D-lstm_
09-29
根据论文写了下pytorch版的模型，替换dataset可用于训练
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
LYKymy的博客
09-21 1483
Abstract 卷积神经网络（cnn）被认为是一类有效的图像识别模型。然而，当利用CNN学习时空视频表示时，这并非不平凡。一些研究表明，执行3D卷积是一种捕获视频中时空维度的有益方法。然而，从头开始开发非常深的3d cnn会导致昂贵的计算成本和内存需求。一个有效的问题是，为什么不为3D CNN回收现成的2D网络。在本文中，我们通过在空间域（相当于2D CNN）上模拟3×3×3卷积滤波器（相当于...
【论文阅读笔记】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
bbp94_github的博客
10-16 2397
代码地址：https://github.com/ZhaofanQiu/pseudo-3d-residual-networks 主要贡献：以经济且有效的方式构建了仿3D卷积神经网络模型：P3D ResNet 出发点：3D 卷积神经网络能够同时学习到视频的时间和空间特征，但是存在所需内存大和计算成本高的问题，导致难以构建更深层的3D CNN，因此提出了用二维空间卷积和一维时间卷积来模拟3D卷积的想...
Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds
qq_43369776的博客
12-05 1100
到目前为止，各种 3D 场景理解任务仍然缺乏实用和可推广的预训练模型，这主要是由于 3D 场景理解的复杂性质及其由相机视图、照明、遮挡等带来的巨大变化。在本文中，我们通过引入时空表示学习（STRL）框架来应对这一挑战，能够以自我监督的方式从未标记的 3D 点云学习。受婴儿如何从野外视觉数据中学习的启发，我们探索了从 3D 数据中获得的丰富的时空线索。具体而言，==STRL从3D点云序列中提取两个时间相关的帧作为输入，利用空间数据增强对其进行变换，并自监督地学习不变量表示。==为了证实 STRL 的有效性，我
运动建模A Spatio-temporal Transformer for 3D Human Motion Prediction
02-23
本文提出了一种创新的基于Transformer的架构，名为“Spatio-temporal Transformer”，用于3D人体动作的生成建模。 传统的预测模型通常依赖于循环神经网络（RNN）来处理时间序列数据，但由于其内在的局限性，这些...
论文复现：【PyTorch】（C3D）Learning Spatiotemporal Features with 3D Convolutional Networks
qq_36627158的博客
02-21 2112
code
双流网络行为识别-Spatiotemporal Residual Networks for Video Action Recognition-论文阅读
Camaro的专栏
03-02 1万+
前几天刚放出来的一篇paper：Spatiotemporal Residual Networks for Video Action Recognition，又将HMDB51数据库和UCF101数据库的精度刷高了。 精度结果如下： 这比之前的tsn网络的结果还要好，之前tsn的结果是：Temporal Segment Networks: Towards Good Practices for
【论文笔记】Spatiotemporal Residual Networks for Video Action Recognition
CSPhD-winston的博客
02-22 1181
摘要 双流卷积网络(ConvNets)在视频中人的动作识别方面表现出了强大的性能。最近，残差网络(ResNets)作为一种训练极深架构的新技术出现了。本论文介绍了这两种方法的组合时空ResNets。新架构通过两种方式引入残差连接，概括了时空域的ResNets。首先，在two-stream结构的外观和运动路径之间注入残差连接，允许two-stream之间的时空交互。其次，通过为其配备可学习的卷积滤波器将预先训练的图像卷积网络转换为时空网络，卷积滤波器初始化为时间残差连接，并及时对相邻的特征图进行操作。这种方法
【C3D 行为识别】总目录 实战 复现+代码解析+自定义数据集
CSPhD-winston的博客
09-29 3613
C3D论文：https://arxiv.org/pdf/1412.0767.pdf 使用平台：极链AI云平台 【C3D 行为识别】复现 项目下载 数据集加载 项目运行
行为识别 - Deep Analysis of CNN-based Spatio-temporal Representations for Action Recognition
清欢
10-27 889
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&可借鉴之处 0. 前言 相关资料： arxiv github 论文解读 论文基本信息 领域：行为识别 作者单位：MIT & IBM 发表时间：2020.10 一句话总结：实验报告，总结现有行为识别模型的特点 1. 要解决什么问题 当前行为识别模型研究现状： 2D模型在Something-Something上效果更好，3D模型在Kinetics上效果更好。 现在行为识别模型的对比上
Reading papers_16(Learning hierarchical invariant spatio-temporal features for action recognition wi...
weixin_34062329的博客
01-04 132
　　 　　前言 　　本次读的文章是与feature learning相关，feature learning也叫做deep learning,是最近一个比较热门的话题。因为它可以无监督的学习到图片和视频的一些特征（当然在其它领域也可以，比如语音，语言处理等），而这些特征并不需要人为手动去设。手动设计的特征，常见的有sift，surf，hog等，它们都是经过了很长的时间才设计出来的，并且它只适应于...
【论文阅读】Learning Spatiotemporal Features with 3D Convolutional Networks
zzmshuai的博客
12-07 1万+
【论文阅读】Learning Spatiotemporal Features with 3D Convolutional Networks 这是一篇15年ICCV的论文，本篇论文提出的C3D卷积网络是3D卷积网络的里程碑，以3D卷积核为基础的3D卷积网络从此发展起来。 论文地址：下载地址 基于pytorch的c3d模型代码：下载地址 简介 文章认为一个有效的视频描述子应该具备以下特点： 良好的泛...
基于深度学习的Action Recognition（行为识别）【二】
热门推荐
事了拂衣去，深藏功与名
01-20 3万+
本文发表在：知乎专栏 看了近一个月的论文，对行为识别领域中目前主流的基于深度学习的方法算是有了基本的认识。但今天只做总结，关于每一篇论文的详细理解，之后有时间补上。也欢迎指正交流。 下图为目前主流模型的比较。其中T3D标称效果好于I3D，但由于结果是作者复现得来，故在这里不做比较。顺序自上向下按UCF101的准确率排列。
深度学习有开源代码的文献
扯着扯着就淡淡了
09-21 2555
人群分析 Novel Dataset for Fine-grained Abnormal Behavior Understanding in Crowd 人群异常行为数据库：https://github.com/hosseinm/med Panic，Fight，Congestion，Obstacle ，NeutralDeep Spatio-Temporal Residual Networks
Dual-Task Interactive Learning for Unsupervised Spatio-Temporal–Spectral Fusion of Remote Sensing Images的代码
最新发布
10-16
for epoch in range(num_epochs): # 训练循环 outputs = model(inputs) loss = loss_fn(outputs, targets) # 假设targets是无标签的目标输出 optimizer.zero_grad() loss.backward() optimizer.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>