论文阅读《Spatiotemporal Multiplier Networks for Video Action Recognition》

最新推荐文章于 2022-10-24 00:15:00 发布
最新推荐文章于 2022-10-24 00:15:00 发布
阅读量3.6k 收藏 6
点赞数 2
分类专栏： 论文阅读 deep-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bojackhosreman/article/details/78654753
版权
本文介绍了《Spatiotemporal Multiplier Networks for Video Action Recognition》的研究，提出了一种利用乘法交互的双流网络，以改进动作识别。通过在ResNet基础上构建，并探索了相乘和相加两种流之间的融合方式，发现相乘交互能更有效地捕获时空特征。此外，论文还引入了一维时间卷积以增强长期依赖性的捕捉。实验表明，这种网络结构在性能上优于传统的双流网络。
摘要由CSDN通过智能技术生成

Spatiotemporal Multiplier Networks for Video Action Recognition

2017CVPR
Christoph Feichtenhofer：http://feichtenhofer.github.io/

Abstract

加入恒等映射核来捕捉长期依赖。

Intro

ST-ResNet：没有提供它的设计选择有系统的理由
重新考虑双流的结合，ResNet较为深入的增加了解这些技术是如何相互作用的
引入这些新的结构，产生了一个新的动作识别方法。

3 main contributions

  • 展示了一种可乘的运动外观流，表现非常好
  • 讨论在长期输入的情况下，生成ST-ResNet的几种方法（提出了加入时间核），这种方法允许新的时间聚合核注入，甚至进入了网络的skip path。
  • 基于如何在residual connections之间融合双流，并且扩展到时间维度，提出了通用的卷积结构，用于动作识别。

Historically：HOF,MBH,trajectories,HOG3D,Cubiods,SOEs
More recently:

  • unsupervised learning,
  • makes use of a combination of hand-crafted and learned features
  • C3D
  • aggregation of temporal information over extended time periods.(dynamic-image/LSTM/RNN/Siamese architecture/)
  • 2-stream

Two-stream multiplier networks

3.1. Baseline architecture

双流，卷积网络在appearance上容易过拟合。
在每个流上都用ResNet作为base network architecture。

3.2. Connecting the two streams

加入cross-stream残差连接。提出了几种连接方式：
但是简单的cross-residual连接这两种流的层次导致了较低的分类与(非连接)两流的性能相比基线。我们推测，性能下降是由于这些层的输入分布的巨大变化在注入融合后的一个网络流中来自另一个流的信号。
此处输入图片的描述

3.2.1 Additive interaction 相加

X^al+1=f(Xal)+F(Xal+f(Xml),Wa
最低0.47元/天 解锁文章
BojackHorseman
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
时空动作检测(Spatio-Temporal Action Detection)
禅与计算机程序设计艺术
07-12 588
时空动作检测(Spatio-Temporal Action Detection) Spatio-Temporal Action Detection. 时空动作检测(Spatio-Temporal Acti
A Closer Look at Spatiotemporal Convolutions for Action Recognition
04-21
Spatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ...
时空动作检测 (spatio-temporal action detection)
Michael’s Blog
10-24 3211
时刻动作检测（spatio-temporal action detection）任务简介
Spatio temporally Action Detection Location 系列(1) :AVA Dataset And Action Localization Model
huyouni110的博客
08-09 1088
Spatio temporally Action Detection Location 系列（1）：AVA数据集与基准模型AVA数据集Action Localization Model5.1 当前研究水平的局限:5.2 方法结构：5.3 Baseline.:5.4 Implementation details：5.5 Linking连接Experiments and Analysis6.1 D...
Spatio temporally Action Detection Location 系列(2) :A Better Baseline for AVA
huyouni110的博客
08-09 469
Spatio temporally Action Detection Location 系列（2）：A Better Baseline for AVA一 简介二 Model and Approach三 Experiments：四 与ava不同：五 不同配置影响：六 I3D结构:七 code 一 简介 这篇论文很短，提供了一个改进的方法，流程也更为简单，本文还是主要介绍模型框架. 我们在AVA数据...
Spatiotemporal Residual Networks for Video Action Recognition
paranoid_CNN的博客
09-04 4511
这篇文章出自2016 NIPS， 作者是格林茨大学的Feichtenhofer。背景：几乎现在行为识别领域，比较work的工作都是基于二流网络。其中appearance和motion分别由两个不同的网络学习，并将两个网络的结果做融合后产生识别。本文创新部分： a、将二维空间ResNet网络部分扩展到时间域。即原来的二维空间网络W*H*C 映射到W*H*T*C， 具体初始化方法如下：这样的好处有两
DiffPose: SpatioTemporal Diffusion Model for Video-Based Human P
最新发布
08-02
多帧人体姿势估计 内容简介： 1）方向：去噪扩散概率模型 2）应用：多帧人体姿势估计 3）背景：去噪扩散概率模型在图像生成方面取得了成功，并在感知任务中表现出色，但在多帧人体姿势估计中的应用仍然存在困难，...
Efficient Measurement Method for Spatiotemporal Compressive Data Gathering in Wireless Sensor Networks
02-11
Efficient Measurement Method for Spatiotemporal Compressive Data Gathering in Wireless Sensor Networks
论文讲解Learning Spatiotemporal Features with 3D Convolutional Networks（C3D） .ppt
05-22
行为识别C3Dppt
A Destination Prediction Network Based on Spatiotemporal Data for Bike-Sharing
02-08
Bike-sharing is a new low-carbon and environment-friendly mode of public transport based on the sharing economy. Since 2017, the bike-sharing market has boomed in China's major cities....
【论文笔记】Spatiotemporal Residual Networks for Video Action Recognition
CSPhD-winston的博客
02-22 1099
摘要 双流卷积网络(ConvNets)在视频中人的动作识别方面表现出了强大的性能。最近，残差网络(ResNets)作为一种训练极深架构的新技术出现了。本论文介绍了这两种方法的组合时空ResNets。新架构通过两种方式引入残差连接，概括了时空域的ResNets。首先，在two-stream结构的外观和运动路径之间注入残差连接，允许two-stream之间的时空交互。其次，通过为其配备可学习的卷积滤波器将预先训练的图像卷积网络转换为时空网络，卷积滤波器初始化为时间残差连接，并及时对相邻的特征图进行操作。这种方法
论文浏览(41) STEP: Spatio-Temporal Progressive Learning for Video Action Detection
清欢
09-10 826
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题&有什么可以借鉴 0. 前言 相关资料： arxiv github 论文解读 论文基本信息 领域：时空行为检测 作者单位：马里兰大学 & NVidia 发表时间：CVPR 2019 1. 要解决什么问题 Spatio-temporal action detection 任务的难度较大 一个action tube一般来说包括了空间上的变换，这会导致proposal的生成与微调更有难
Video Understanding（3）——Spatio-Temporal Action Localization时空动作定位
DaGongJiGuoMaLu09的博客
01-13 3340
《Action Tubelet Detector for Spatio-Temporal Action Localization》，2017，[caffe] 《Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos 》，2017，[caffe]
实时视频动作检测(action detection)
热门推荐
qq_34351067的博客
05-23 2万+
行为检测( action detection) 旨在从长视频中定位出人们感兴趣行为在时间甚至是空间上的具体位置，是最为重要的视频理解任务之一。该技术可以广泛应用于视频监控、视频搜索与检索、自动驾驶、人机交互、视频内容推荐等。 行为检测任务可以分为时序行为检测( temporal action detection) 和时空行为检测( spatio-temporal action detection) 两类。前者只需要得到行为的类别以及在视频中发生的开始帧和结束帧，而后者还需要...
华为开源构建工具_为什么我构建了用于大数据测试和质量控制的开源工具
weixin_26746401的博客
09-17 324
华为开源构建工具I’ve developed an open-source data testing and a quality tool called data-flare. It aims to help data engineers and data scientists assure the data quality of large datasets using Spark. In th...
Spatiotemporal Multiplier Networks for Video Action Recognition
paranoid_CNN的博客
09-06 2430
2017年cvpr，刚放出来的文章，大概看了一下，是在上一篇文章的扩展，上一篇文章见：http://blog.csdn.net/paranoid_cnn/article/details/77838574 问题：基于二流网络，本篇文章和给出上述链接的文章的思想是：原始的二流网络分别学习appearance stream和motion stream，虽然取得了比较work的性能，但时间和空间是分开学习的
行为检测论文笔记【综述】基于深度学习的行为检测方法综述
CSPhD-winston的博客
12-25 4972
摘 要: 行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来，基于深度学习的方法在行为检测领域取得了巨大的进展，引起了国内外研究者的关注，对这些方法进行了全面的梳理和总结，介绍了行为检测任务的详细定义和面临的主要挑战; 从时序行为检测和时空行为检测 2 个方面对相关文献做了细致地分类，综合分析了每一类别中不同研究方法的思路和优缺点，并阐述了基于弱监督学习、图卷积神经网络、注意力机制等新兴研究话题的相关方法; 介绍了行为检测领域常用的数据集以及性能评估指标，在这些数据集上比较
【行为检测】ICCV 2017：Temporal Action Detection with Structured Segment Networks
qq_39315153的博客
02-21 212
Action detection 看的第一篇，只看懂了大概思路，具体细节很多不理解，代码暂时没看懂，后面了解多了再返回来看吧。 代码：https://github.com/yjxiong/action-detection 首先用Temporal Actionness Grouping(TAG)这个方法得到候选片段，之后利用时间金字塔得到片段级别特征，经过两个分类器联合判断，得到片段类别和开始结...
《Deep Analysis of CNN-based Spatio-temporal Representations for Action Recognition》阅读笔记
NiZjiTouA的博客
02-25 787
《Deep Analysis of CNN-based Spatio-temporal Representations for Action Recognition》 论文连接：https://arxiv.org/abs/2010.11757 代码连接：https://github.com/IBM/action-recognition-pytorch. Abstract 近年来，出现了许多基于二维或三维卷积神经网络(CNN)的视频动作识别方法，在几个大规模基准数据集上取得了最先进的结果。在本文中，我们进行了
Graph Convolutional Adversarial Networks for Spatiotemporal Anomaly Detection
04-23
Graph Convolutional Adversarial Networks for Spatiotemporal Anomaly Detection is a research paper that proposes a new approach to detect anomalies in spatiotemporal data using graph convolutional ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值