Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks

最新推荐文章于 2022-02-21 19:51:30 发布
最新推荐文章于 2022-02-21 19:51:30 发布
阅读量634 收藏 1
点赞数
分类专栏： paper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010106759/article/details/78724136
版权

团队介绍

作者：

Alberto Montes, Amaia Salvador, Santiago Pascual, Xavier Giro-i-Nieto

作者都来自Universitat Politècnica de Catalunya (UPC)的一所西班牙大学，理工科挺强的，发表在NIPS workshop的一篇文章. 在ActivityNet Challenge 2016取得了不错的

动机

利用C3D[1]能捕捉短时间的空时特征，然后LSTM处理长时间的信息，Untrimmed Videos对进行分类和定位

框架

这里写图片描述

C3D首先在sports-1M上进行预训练，之后对预处理好的每16帧视频（相邻的视频片段没有交叉）离线提取时空特征，将这些固定的特征作为LSTM的输入，进行每一个片段的分类，每一类对应于一个动作类别（增加background作为一类）。作者在文中也探讨了不同深度，不同宽度的LSTM网络。发现1x512的最浅最窄的最好。The simplest is the best.

tricks

  1. 对LSTM输出的概率进行均值滤波，使其更平滑，消除异常概率值
  2. 为了应对背景数据较多的情况，在计算loss时候，给其相对较小的权重

思考改进

如果C3D和LSTM一起训练，微调C3D，重新训练LSTM，效果应该会好一点，但用于参数众多，也可能导致参数过多，导致过拟合

引用

  1. D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, Learning Spatiotemporal Features with 3D Convolutional Networks, ICCV 2015
流星逐月
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ICMR 19：Temporal Activity Localization by Language
黄鑫的博客
06-04 1642
介绍一下我之前在校，独立完成的一项工作，已被ACM ICMR 2019 接收为oral paper 论文：《Cross-Modal Video Moment Retrieval with Spatial and Language-Temporal Attention》 代码：https://github.com/BonnieHuangxin/SLTA 一、论文任务 Examples: ...
R-C3D：Region Convolutional 3D Network for Temporal Activity Detection
qq1145520074的专栏
03-19 4178
原论文连接：R-C3D：Region Convolutional 3D Network for Temporal Activity Detectionmotivationtemporal action detection是要在视频序列中确定动作发生的时间区间（包括开始时间与结束时间）以及动作的类别。类似于图像中的目标检测任务，时序动作检测也可以分为生成时间区域提名（temporal action ...
论文阅读：R-C3D: Region Convolutional 3D Network for Temporal Activity Detection
qq_36627158的博客
02-24 656
写在前面 由于这是一篇比较经典的论文，网上相关讲解的文章比较多，我这里就不重复了，主要记录一些自己遇到的问题。 论文详解 参考链接： https://blog.csdn.net/gentelyang/article/details/80483841 https://zhuanlan.zhihu.com/p/34439558 以下引用快内容均参考上面两个链接，有对其中的内容进行调整： R-C3D(Region 3-Dimensional Convolution...
论文阅读：Action Recognition from Single Timestamp Supervisionin Untrimmed Videos
qq_40760171的博客
07-15 1038
Action Recognition from Single Timestamp Supervision in Untrimmed Videos作者贡献从单个时间戳监督中识别采样分布初始化模型更新分布参数 作者贡献 提出了一种从单个时间戳初始化的采样分布，以选择相关的帧来训练行为识别分类。（因为时间戳的粗糙定位和每个行为有不同的时长，所以最初的抽样分布可能与实际情况不完全相符，如下图第一行） 提...
Online Detection of Action Start in Untrimmed, Streaming Videos论文阅读笔记
Hia_Hia_Hia的博客
10-09 874
这篇文章解决的问题是，识别视频中动作的开始。 作者对应于ODAS（在线识别动作开始）的三个问题提出了对应的解决方案： （1）在动作开始的前后，场景和物体都极为相似 —— 用GAN生成hard negative样本，即动作开始前的样本； （2）动作开始窗口是背景帧和动作帧的混合，开始窗口的特征可能会与动作开始前的背景帧更接近，而不是与动作开始后的动作帧更接近 —— 在训练中学习开始窗口和f...
Training and Analyzing Deep Recurrent Neural Networks
07-22
Abstract ...recurrent networks in character-level language modeling when trained with sim- ple stochastic gradient descent. We also offer an analysis of the different emergent time scales.
【9】Speech recognition with deep recurrent neural networks.pdf
08-26
Recurrent neural networks (RNNs) are a powerful model for sequential data. End-to-end training methods such as Connectionist Temporal Classification make it possible to train RNNs for sequence ...
【10】Towards End-to-End Speech Recognitionwith Recurrent Neural Networks.pdf
08-26
of the deep bidirectional LSTM recurrent neural network architecture and the Connectionist Temporal Classification objective function. A modification to the objective function is introduced that ...
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
02-08
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
Community detection in temporal networks via a spreading process
02-08
Community detection in temporal networks via a spreading process
论文浏览(16) A Novel Online Action Detection Framework from Untrimmed Video Streams
清欢
07-07 343
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题 0. 前言 相关资料： arxiv github 论文解读 论文基本信息 领域：在线行为检测 作者单位：高丽大学 发表时间：2020.3 1. 要解决什么问题 在Untrimmed Videos中做Online Action Detection主要的挑战在于： 在Untrimmed Videos中，可能会发生的动作不止一种。 在Online的限制下，只能获取当前以及过去的数据。 2.
Temporal Action Localization在THUMOS14上精度总结
qq_40178291的博客
10-05 1079
Efficient Action Detection in Untrimmed Videos via Multi-Task Learning 2016 WACV THUMOS14 mAP @0.5=19.0% CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localizati...
Video Analysis 相关领域解读之Temporal Action Detection(时序行为检测)
Will Lin的博客
04-27 1万+
本文投稿于极视角公众号，链接为文章链接.也欢迎大家关注我的知乎专栏CV论文笔记及其他。上一篇笔记介绍了 Action Recognition 领域的研究进展。Action Recognition主要是用于给分割好的视频片段分类，但实际中大部分视频都是未分割的长视频。所以这就引出了今天要介绍的领域：Temporal Action Detection
【深度学习论文翻译】Weakly Supervised Action Localization by Sparse Temporal Pooling Network全文翻译
唐申庚的博客
08-02 2880
Phuc Nguyen（University of California Irvine, CA, USA） Ting Liu，Gautam Prasad（Google Venice, CA, USA） Bohyung Han（Seoul National University Seoul, Korea） 目录 目录 摘要 1.介绍 2.相关工作（略） 3.提出算法 3.1.动作...
深度学习之视频入门经典+视频分类+视频行为识别+行为检测+视频事件识别+事件检测--附带源码和作者主页
WJ_MeiMei的博客
11-22 2万+
视频研究入门经典   Labor-Free Video Concept Learningby Jointly Exploiting Web Videos and Images     intro: CVPR 2016     intro: Lead–Exceed Neural Network (LENN), LSTM     paper: https://www.microsoft.c...
Temporal Action Detection (时序动作检测)综述
热门推荐
qq_33278461的博客
06-17 3万+
最近几年由于网络上视频量的急剧增多和神经网络的飞快发展，这项任务得到了更多的关注。目前这项任务的主要数据集有THUMOS2014、ActivityNet。评价指标为IOU，目前2017的大多数工作在IOU=0.5的情况下达到了20%-30%的MAP，虽然较2016年提升了10%左右，但是在IOU=0.7时直接降低到了10%以下，2018年IOU=0.5有34%的MAP。 目前的趋势是寻找视频内活...
Video Analysis 入门
Wayne2019的博客
12-27 4751
总结一些入门资料。
专注于业务编排的工作流引擎Temporal框架技术Java实践（SpringBoot）
邪恶八进制
02-21 4859
Temporal 是一个微服务编排平台，使开发人员能够在不牺牲生产力或可靠性的情况下构建可扩展的应用程序。临时服务器以弹性方式执行应用程序逻辑单元工作流，自动处理间歇性故障并重试失败的操作。 ​ Temporal 是一项成熟的技术，是 Uber 的 Cadence 的一个分支。Temporal由 Cadence 的创建者初创公司Temporal Technologies开发。 ​ 若你还不了解Temporal基础结构，点此跳转。本文专为实践受...
tridet: temporal reaction detection with relative boundary modeling的引用格式
最新发布
05-21
以下是tridet: temporal reaction detection with relative boundary modeling的引用格式： 作者. (年份). 标题. 期刊名称, 卷号(期号), 页面范围. 例如： Li, Z., Zhang, Y., Zhang, J., & Li, J. (2021). ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值