论文阅读《Long-term Temporal Convolutions for Action Recognition》

最新推荐文章于 2024-01-10 20:58:09 发布
最新推荐文章于 2024-01-10 20:58:09 发布
阅读量2.6k 收藏 6
点赞数
分类专栏： 论文阅读 deep-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bojackhosreman/article/details/78261097
版权
《Long-term Temporal Convolutions for Action Recognition》论文提出LTC方法，通过研究不同低级表达对动作建模的影响，强调高质量光流估计的重要性。在UCF101（92.7%）和HMDB51（67.2%）数据集上取得良好效果。网络包含5个时空卷积层和3个全连接层，输入分辨率从16帧到60帧，同时考虑RGB和光流信息。训练策略包括使用SGD，多尺度裁剪等数据增强技术。
摘要由CSDN通过智能技术生成

论文阅读《Long-term Temporal Convolutions for Action Recognition》

标签（空格分隔）： ActionRecognition ReadingNote

project page :http://www.di.ens.fr/willow/research/ltc
gayhub: https://github.com/gulvarol/ltc

现有方法一般采用CNN来获取动作表达，但是一般来说从较少的视频帧中，很难完整的对一个动作建模。

本文工作：

  • LTC（long-term temporal convolutions）
  • 研究了不同的low-level表达（比如视频原始像素、光流向量）的影响
  • 强调高质量光流估计的重要性。

实验结果：UCF101 (92.7%) and HMDB51 (67.2%)。

Intro

LONG-TERM TEMPORAL CONVOLUTIONS

网络结构

网络结构
The network has 5 space-time convolutional layers with 64, 128, 256, 256 and 256 filter response maps, followed by 3 fully connected layers of sizes 2048, 2048 and number of classes.

卷积核3x3x3，每个卷积层都采用ReLU激活函数，以及max-pooling（除了第一层是2x2x1，其他都是2x2x2）。三个维度都padding一个像素，卷积stride 1 for conv，2 for pooling。前两个fc层采用dropout。fc层结束后都接上ReLU层，最后采用softmax层输出类别分数。

网络输入

从C3D出发，首先对比16帧和60帧的输入。
系统分析输入信号的时空分辨率增长的影响（两个方面motion/appearance）。

16帧：112x112x16 crop，171x128像素
60帧：58x58x60 crop，89x67像素

60帧的网络，5个卷积层分别对应60、30、15、7、3帧输入。
16：16、8、4、2、1.

The space-time resolution for the outputs of the fifth convolutional layers is 3×3×1

最低0.47元/天 解锁文章
BojackHorseman
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Transform based spatio-temporal descriptors for human action recognition
02-21
Transform based spatio-temporal descriptors for human action recognition
时域卷积网络（Temporal Convolutional Network，TCN）
z2014z的博客
04-13 1万+
TCN基本结构 时域卷积网络（Temporal Convolutional Network，TCN）由Shaojie Bai et al.在2018年提出的，可以用于时序数据处理，详细内容请看论文。 1.因果卷积（Causal Convolution） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-28ptyiiH-1618306487421)(https://www.programmersought.com/images/924/23daba19db5473ff38fb97
A Key Volume Mining Deep Framework for Action Recognition
weixin_39749139的博客
01-06 248
A Key Volume Mining Deep Framework for Action Recognition
TCN（Temporal Convolutional Network，时间卷积网络）
热门推荐
weixin_39910711的博客
05-10 8万+
1 前言 实验表明，RNN 在几乎所有的序列问题上都有良好表现，包括语音/文本识别、机器翻译、手写体识别、序列数据分析（预测）等。 在实际应用中，RNN 在内部设计上存在一个严重的问题：由于网络一次只能处理一个时间步长，后一步必须等前一步处理完才能进行运算。这意味着 RNN 不能像 CNN 那样进行大规模并行处理，特别是在 RNN/LSTM 对文本进行双向处理时。这也意味着 RNN 极度地计算密集，因为在整个任务运行完成之前，必须保存所有的中间结果。 ...
图示时序卷积网络(Temporal Convolutional Networks)结构与过程
weixin_42410798的博客
05-19 4898
卷积网络(Convolutional Neural Network, CNN)过去广泛应用于图像领域, 最近有工作发现, 经过改造的 CNN 可以高效完成序列(sequence)建模与预测. 本文详细说明了时序卷积网络(Temporal Convolutional Network, TCN)中的基本块(block)结构, 并且借助开源时间序列预测库 Darts, 用 TCN 实现在真实数据集上的准确预测.
TCN（Temporal Convolutional Networks）详解
weixin_57726558的博客
08-08 1万+
文章介绍了一种时序预测算法TCN（时域卷积网络）利用因果卷积和残差模块等，使得模型能更好的捕捉时序数据局部依赖关系以及稳定的梯度传播，与RNN相比有不同的优缺点；文中还对一维卷积做了简单介绍，以便初学这能更好的学习和了解，并附带详细代码示例。
Long-term Tracking Based on Spatio-Temporal Context Model
02-07
Long-term Tracking Based on Spatio-Temporal Context Model
RESEARCH ON TEMPORAL STRUCTURE FOR ACTION RECOGNITION
02-07
We propose an algorithm to explore the temporal relationship between video trajectories and apply it to motion recognition and intelligent human-computer interaction systems. Trajectory components ...
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
02-11
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
Long-term performance of collaborative filtering based recommenders in temporally evolving systems
02-08
Recommender systems benefit people at every moment in their daily life.... On this network, a recommendation-based evolution method is proposed to simulate the temporal dynamics between a recommen
A Closer Look at Spatiotemporal Convolutions for Action Recognition
04-21
Spatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal Convolutions
论文分析A Key Volume Mining Deep Framework for Action Recognition
在河之洲
06-19 4064
行为识别的意义难题所在Action Recognition 是计算机视觉中比较难的一个问题。因为： 不同人完成同一种动作的方式有很大差异。比如同样是挥手，有些人举得很高幅度很大，有些人动作很矜持； 同一种动作往往会有很多亚类。收集数据时候，很难为每一个亚类都收集足够的训练样本。比如拳击就可以包括上勾拳，平勾拳，斜勾拳等众多亚类。 数据很难收集。这是因为视频的精细标注（标注每个动作发生的时空位置）工作
深度学习算法中的 时空卷积网络（Spatio-Temporal Convolutional Networks）
牛肉胡辣汤
09-21 2820
在网络的前向传播过程中，时空卷积核在整个视频序列上进行滑动，从而提取出时序和空间上的特征。然而，对于一些涉及到时序和空间信息的任务，如视频分析、动作识别和人体姿态估计等，传统的CNNs存在一定的局限性。我们相信，在不久的将来，时空卷积网络将在更多领域展现出强大的能力，并为我们带来更多的惊喜和突破。尽管时空卷积网络在时序和空间信息处理方面取得了显著的成果，但仍存在一些挑战和改进的空间。这是一个简单的示例代码，实现了一个时空卷积网络模型，并在MNIST数据集上进行了训练和评估。
TCN 时序卷积网络 （temporal convolutional network）【因果卷积、空洞卷积】
最新发布
qq_49288362的博客
01-10 2727
因果卷积保证了在任何时间点t，输出只依赖于时间点t及其之前的输入，而不依赖于t之后的输入。具体地说，假设我们有一个一维的输入序列和一个大小为k的卷积核，为了实现因果卷积，我们可以在序列的开始处填充k-1个零，然后进行标准的卷积操作。最初的提出是为了解决图像分割的问题，常见的图像分割算法通常使用池化层和卷 积层来增加感受野，同时也缩小了特征图尺寸，然后利用上采样还原图像尺寸，特征图缩小在放大的过程造成了精度上的损失，因此需要一种操作可以在增加感受野的同时保持特征图的尺寸不变，从而代替下采样和上采样操作。
论文阅读笔记《Meta-Learning with Temporal Convolutions》
深视
05-20 1171
核心思想   本文采用元学习的方式解决小样本学习问题，本文提出的算法是对任务不限制的，因此可以在分类、回归和强化学习等多个领域使用；其次本文是对序列输入做处理，但是却没有采用常见的RNN结构，而是基于时间卷积（Temporal Convolution）同时感知当前时刻的输入和之前所有时刻的输入，得到输出结果。作者认为传统的RNN结构只能通过隐藏层沿着时间前向传递信息，这种时间上的线性依赖限制了网络的能力，使其不能够在输入流上采用更加灵活的计算方式。相比于RNN，时间卷积结构能够更加直接地，更高带宽地接触到过
【论文阅读】Long-term Temporal Convolutions for Action Recognition
zzmshuai的博客
12-18 2256
【论文阅读】Long-term Temporal Convolutions for Action Recognition 这篇论文之前，几乎所有的3D卷积网络的输入视频长度都很短，例如C3D、Res3D都只有16帧，那么长时输入视频对最终的结果有没有影响呢？所以本文探索了3D卷积网络输入视频的时长对识别效果的影响，发现输入视频时长越长，效果越好，从而提出了LTC 3D网络结构，同时文章评估了LTC...
文献阅读：Long-Term Temporal Convolutions（LTC）for Action Recognition
Jennifer_Love_Frank的博客
03-31 1155
本作者使用具有长期时间卷积 (LTC) 的神经网络来学习视频表示。证明了增加时间范围的LTC-CNN模型提高了动作识别的准确性。还研究了不同低级表示的影响，例如视频像素的原始值和光流矢量场，并证明了高质量光流估计对于学习准确动作模型的重要性。
【Python项目实战】基于时间卷积网络(Temporal Convolution Network ,TCN)的发动机剩余寿命预测
qq_45047246的博客
07-12 2946
航空发动机结构复杂,状态变量多且相互之间存在着严重非线性特征,传统的基于物理失效模型的方法难以精确地预测发动机的剩余寿命(RUL)。针对此问题,采用时间卷积网络(Temporal Convolution Network ,TCN)作为一种最新出现的序列神经网络,被证明在序列数据预测上有良好的效果。采用TCN实现对发动机剩余寿命进行预测,预测过程通过建立退化模型,给每个训练样本添加RUL标签;将特征输入构建的卷积神经网络得到剩余寿命的预测值。为了验证方法的有效性,在NASA提供的涡轮风扇发动机仿真数据集(C-
A Key Volume Mining Deep Framework for Action Recognition论文学习
Camaro的专栏
01-10 3107
Zhu W, Hu J, Sun G, et al. A Key Volume Mining Deep Framework for Action Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2016:1991-1999.百度学术 1：思路：
tdn: temporal difference networks for efficient action recognition
03-16
TDN是一种用于高效行为识别的时间差网络。它结合了时间差学习和卷积神经网络，能够在不需要额外的光流或时间序列数据的情况下，对视频进行高效的行为识别。TDN的设计使得它能够在处理大规模视频数据时具有较高的效率...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值