百度飞将BMN时序动作定位框架 | 数据准备与训练指南 （上）

已于 2022-07-06 08:58:26 修改
阅读量3.4k 收藏 12
点赞数
分类专栏： 深度学习CV方向 文章标签： 动作检测 视频分类 时序定位 Paddle 机器视觉
于 2022-07-05 16:18:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andrwin/article/details/125513910
版权

一、介绍

        BMN模型是百度自研，2019年ActivityNet夺冠方案，为视频动作定位问题中proposal的生成提供高效的解决方案。

        简单说，视频的时序动作定位就是给一段视频，分析出从xxx秒到xxx秒是一个什么动作，相比动作识别需要推断这个动作的起始时间和终止时间，指标主要涉及两个：（1）分类准确率（2）与GT的IoU。

项目地址：

GitHub - PaddlePaddle/PaddleVideo: 基于模块化的设计，提供丰富的视频算法实现、产业级的视频算法优化与应用，包括安防、体育、互联网、媒体等行业的动作定位与识别、行为分析、智能封面、视频标注、视频打标签等，涵盖动作识别与视频分类、动作定位、动作检测、多模态文本视频检索等技术。基于模块化的设计，提供丰富的视频算法实现、产业级的视频算法优化与应用，包括安防、体育、互联网、媒体等行业的动作定位与识别、行为分析、智能封面、视频标注、视频打标签等，涵盖动作识别与视频分类、动作定位、动作检测、多模态文本视频检索等技术。 - GitHub - PaddlePaddle/PaddleVideo: 基于模块化的设计，提供丰富的视频算法实现、产业级的视频算法优化与应用，包括安防、体育、互联网、媒体等行业的动作定位与识别、行为分析、智能封面、视频标注、视频打标签等，涵盖动作识别与视频分类、动作定位、动作检测、多模态文本视频检索等技术。https://github.com/PaddlePaddle/PaddleVideo这个项目需要的存储空间挺多的，大概200G左右，要放在一个充裕的空间

算法主要分为三个阶段：

（1）视频理解

        PP-TSM，音频特征：VGGish

（2）时序提名

        BMN

（3）动作分类与定位

        AttentionLSTM

每个阶段都包含了数据准备、训练、验证和导出推理模型等环节。

准备环境主要是依赖requirements.txt里面的内

最低0.47元/天 解锁文章
时序动作定位｜基于背景建模的弱监督动作定位
LiRongLu_的博客
02-20 736
关于Weakly-supervised Action Localization with Background Modeling论文学习
时序动作定位 | 面向时序行为定位任务的无监督预训练
LiRongLu_的博客
05-15 709
​论文链接：https://arxiv.org/abs/2203.13609 代码地址：https://github.com/zhang-can/UP-TAL 主要贡献： 首次面向时序行为定位任务进行无监督预训练（UP-TAL）； 为此，提出了一个新的代理任务叫做“伪动作定位”（Pseudo Action Localization，PAL），并根据 TAL 任务特点，设计了一种时序等变学习（temporal equivariance learning）范式; 实验表明在下游时序行为定位任务上超过了主..
百度飞将BMN时序动作定位框架 | 数据准备与训练指南 （下）
Andrwin的博客
07-06 1073
BMN模型是百度自研，2019年ActivityNet夺冠方案，为视频动作定位问题中proposal的生成提供高效的解决方案。
时序动作定位:Rethinking the Faster R-CNN Architecture for Temporal Action Localization(TAL-Net)
qq_41590635的博客
11-28 1992
这篇是2018CVPR的文章，论文下载链接: http://cn.arxiv.org/pdf/1804.07667.pdf 1 背景 1.1 Faster R-CNN vs TAL-Net 得益于Faster R-CNN 在目标检测领域的巨大成功，自然想讲Faster R-CNN 应用于视频时序动作检测。思路是直接把anchor、proposals、pooling全变成了对1-D时间维度的处理...
时序动作定位 | I3D(Inflated 3D ConvNet) 与 UNT(UntrimmedNets) 特征模型
LiRongLu_的博客
05-30 3813
I3D(Inflated 3D ConvNet) 与 UNT(UntrimmedNets) 特征模型
集智书童 | 用于时态动作检测的预测反馈 DETR !
csdn_xmj的博客
10-07 1528
视频中的时间动作检测（TAD）是现实世界中的一个基本且具有挑战性的任务。得益于 Transformer 的独特优势，各种基于DETR的方法已在TAD中得到应用。然而，最近的研究发现，DETR中自注意力层中的注意力衰减导致了其性能下降。本文在之前研究的基础上，针对DETR基础TAD方法中的交叉注意力层注意力衰减问题进行新的探讨。
时序动作定位｜分而治之的单帧时序动作定位（ICCV 2021）
LiRongLu_的博客
07-09 729
关于Learning Action Completeness from Points for Weakly-supervised Temporal Action Localiza论文学习单帧时间动作定位(STAL)旨在对每个动作实例只使用一个时间戳注释的未裁剪视频中的动作进行定位。现有方法采用单阶段框架，将计数目标与定位目标相结合。本文提出了一种新的分而治之的两阶段任务框架。实例计数阶段利用位置监督来确定动作实例的数量，并将整个视频分成多个视频剪辑，使每个视频剪辑只包含一个完整的动作实例;位置估......
时序动作定位 | AUMN：弱监督时间动作定位的动作单元记忆网络（CVPR 2021）
LiRongLu_的博客
08-10 597
Action Unit Memory Network for Weakly Supervised Temporal Action Localization
时序动作定位基本知识
m0_60273616的博客
11-09 3718
对时序结构信息建模的算法：SSN(Structured Segment Network，结构化视频段网络)算法 (Zhao et al., 2020) 对动作不同的阶段 (开始、过程、结束) 进行建模，SSN 不仅会预测候选时序区间内的动作类别，还会预测候选时序区间的完整性，这样做的好处是可以更好地定位动作开始和结束的时刻。基于滑动窗的算法：这类算法的基本思路是预先定义一系列不同时长的滑动窗，之后滑动窗在视频上沿着时间维度进行滑动，并逐一判断每个滑动窗对应的时序区间内具体是什么动作类别。
时序动作定位｜从点学习动作完整性的弱监督时序动作定位（ICCV 2021）
LiRongLu_的博客
07-09 583
关于Learning Action Completeness from Points for Weakly-supervised Temporal Action Localization论文学习首先，选择伪背景点来补充点级动作标签。然后，以这些点为种子，在与种子一致的情况下，寻找可能包含完整动作实例的最优序列。为了从得到的序列中学习完整性，作者引入了两个新的损失，分别以动作评分和特征相似性来对比动作实例和背景实例。..................
时序动作定位 | 基于双向语义一致性约束的弱监督时间动作定位（2023 Tnnls）
LiRongLu_的博客
05-29 511
弱监督时间动作定位(WTAL)的目的是在训练数据集中只给定视频级别的类别标签的情况下，对视频动作的时间边界进行分类和定位。由于训练过程中缺乏边界信息，现有方法将WTAL定义为一个分类问题，即生成时态类激活图(TCAM)进行定位。但是，如果只有分类损失，模型就会被次优化，即动作相关的场景足以区分不同的类标签。将与动作相关的场景(即与积极动作相同的场景)中的其他动作视为共同场景动作，该次优化模型会将共同场景动作错误地分类为积极动作。为了解决这种错误分类，本文提出了一种简单而有效的方法，即双向语义一致性约束(Bi
时序动作定位｜使用 ‘注意力机制’ 的弱监督时序动作定位顶会论文理解笔记（Weakly-Supervised Temporal Action Localization）
LiRongLu_的博客
06-17 1628
Weakly Supervised Action Localization by Sparse Temporal Pooling Network Weakly-Supervised Action Localization by Generative Attention Modeling A Hybrid Attention Mechanism for Weakly-Supervised Temporal Action Locali
ICCV2023 | 基于动作敏感性学习的时序动作定位
淘系技术
08-21 1715
淘天集团-内容理解算法团队与浙江大学杨易教授团队合作的关于视频时序定位的论文被ICCV2023录取。本文在业界首次将视频帧级别的细粒度信息引入至时序动作定位领域（Temporal Action Localization，TAL），对于时序动作定位任务，在单一标注（single-labeled）、密集标注（dense-labeled）和第一人称视角（egocentric）等类型数据集上，性能普遍超过...
时序动作定位 | ActionFormer: 使用Transformers动作时刻
LiRongLu_的博客
09-13 3302
ActionFormer: Localizing Moments of Actions with Transformers
时序动作定位 | 提取视觉语言预训练与弱监督时间动作定位协同（CVPR 2023）
LiRongLu_的博客
06-17 342
弱监督时态动作定位(WTAL)学习仅使用类别标签来检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。由于分类和局部化的优化目标不同，使得局部化结果存在严重的不完全性问题。为了在没有额外注释的情况下解决这一问题，本文考虑从视觉语言预训练(VLP)中提取自由动作知识，因为惊讶地发现普通VLP的定位结果存在过完整问题，而这只是对CBP结果的补充。为了融合这种互补性，提出了一个新的蒸馏协作框架，其中两个分支分别作为CBP和VLP。
【论文阅读】弱监督下的时序动作定位
三木今天学习了嘛の博客
10-26 2707
对Adaptive Two-Stream Consensus Network for Weakly-Supervised Temporal Action Localization进行阅读，并了解弱监督时序动作定位的主要任务和挑战，有了一个基本认知。
时序动作检测《BMN: Boundary-Matching Network for Temporal Action Proposal Generation》
胖胖大海的博客
07-26 4054
温馨提示：本文仅供自己参考（勿捧杀），如有理解错误，有时间再改！ BMN算法是对BSM算法的改进，有关BSN算法的详细介绍，请参考上一篇文章。一个高质量的proposal生成方法应当具备生成的proposal长度灵活可变、proposal边界精确、proposal可靠的置信度。 BSN算法的缺点： 1、BSN算法中PEG模块对于候选proposal的特征构建和置信度评估是分开进行的，效率低 2、在BSN算法中的TEM模块对每个时刻采用局部上下文信息...
时序动作定位 | BaSNet：弱监督时序动作定位的背景抑制网络（AAAI 2020）
LiRongLu_的博客
06-02 695
关于Background Suppression Network for Weakly-Supervised Temporal Action Localization论文学习 作者引入了一个表示背景的辅助类，这是一个缺失的元素来建模弱监督时间动作定位问题。 作者提出了一种不对称的双分支权重共享架构，通过过滤模块和对比目标来抑制来自背景帧的激活。 作者的BaSNet在最流行的基准测试，THUMOS的14和ActivityNet的实验中优于目前最先进的WTAL方法。............
时序动作检测/定位(Temporal Action Detection)(Temporal Action Localization)-约40篇论文阅读笔记
Louis210的博客
08-24 7155
时序动作检测(Temporal Action Detection)(Temporal Action Localization)-综述
BMN时序动作定位的研究前景、未来方向；细粒度时序动作定位的潜力
最新发布
12-27
### BMN时序动作定位的研究前景 BMN (Boundary-Matching Network) 是一种用于时序动作提案生成的方法，在处理视频中的动作边界匹配方面表现出色。随着技术进步，BMN 的研究前景主要体现在以下几个方面： - **多模态融合**：未来的工作可能会探索如何更好地利用音频、文本等多种模态的信息来增强时序动作定位的效果[^2]。 - **跨域适应能力提升**：为了使模型能够适用于更多样化的场景，研究人员正在努力提高模型的泛化能力和跨域适应性能。 ```python import torch.nn as nn class MultiModalFusion(nn.Module): def __init__(self, video_feature_dim=1024, audio_feature_dim=128): super(MultiModalFusion, self).__init__() self.video_fc = nn.Linear(video_feature_dim, 512) self.audio_fc = nn.Linear(audio_feature_dim, 512) def forward(self, video_features, audio_features): fused_features = torch.cat((self.video_fc(video_features), self.audio_fc(audio_features)), dim=-1) return fused_features ``` ### 未来发展方向 针对细粒度时序动作定位这一特定领域，未来的研发趋势可能包括但不限于以下几点： - **高精度与时效性优化**：对于像乒乓球这样的运动项目，其特点是动作快速且频繁发生，这对系统的实时性和准确性提出了更高要求。开发更加高效的算法成为必然选择[^3]。 - **弱监督学习的应用扩展**：鉴于标注成本高昂的问题，基于少量标记样本训练出高性能模型的技术路线备受关注。通过引入伪标签机制等方式降低对大量高质量标注数据的需求将成为重要课题之一。 - **上下文理解加强**：深入挖掘前后帧之间的关联关系有助于改善对复杂情境下细微变化的理解程度，从而进一步提升定位精确率。 ### 细粒度时序动作定位的潜力 细粒度时序动作定位拥有广阔的应用空间和发展机遇： - **体育赛事直播分析**：精准捕捉运动员每一个精彩瞬间的能力使得此类技术非常适合应用于各类竞技项目的实况转播之中，不仅限于乒乓球，还可以推广到其他球类甚至体操等项目上。 - **医疗健康监测**：通过对患者日常行为模式的学习建立基线，一旦发现异常情况立即发出警报通知医护人员及时介入治疗过程；另外也可以辅助康复训练指导师制定个性化锻炼计划并跟踪进度效果评估。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值