百度飞将BMN时序动作定位框架 | 数据准备与训练指南 （下）

已于 2022-07-07 11:13:20 修改
阅读量994 收藏 3
点赞数 2
分类专栏： 深度学习CV方向 文章标签： 深度学习 人工智能 动作识别 时序定位 视频分类
于 2022-07-06 09:30:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andrwin/article/details/125632317
版权
本文详细介绍了使用百度飞将BMN进行时序动作定位的步骤，包括训练数据处理、配置文件修改、模型训练、时序提名生成，并涉及到AttentionLSTM的时序提名处理和模型训练。在训练过程中，对数据集进行了调整，以适应有限的训练数据，并导出了BMN推理模型，最后展示了如何使用该模型进行后续处理。
摘要由CSDN通过智能技术生成

三、BMN

上篇说到处理一下BMN需要的训练数据，在PaddleVideo-develop/applications/FootballAction/datasets/EuroCup2016/features这个文件下面

（1）训练数据处理

打开PaddleVideo-develop/applications/FootballAction/datasets/script这个目录，在这个路径下面执行：

python get_instance_for_bmn.py

（2）修改配置文件

打开PaddleVideo-develop/applications/FootballAction/train_proposal/configs/bmn_football_v2.0.yaml

第22、26、31行改为刚才生成的：PaddleVideo-develop/applications/FootballAction/datasets/EuroCup2016/input_for_bmn/label.json的绝对路径

第38、49、60行改为datasets绝对路径：PaddleVideo-develop/applications/FootballAction/datasets/EuroCup2016/input_for_bmn/feature

第84行PaddleVideo-develop/applications/FootballAction/BMN_INFERENCE_results的绝对路径然后在这个位置新建一个叫做BMN_INFERENCE_results的文件夹

第17行batchsize改为1

（3）训练BMN

在PaddleVideo项目根目录执行：


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  訢詡
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
百度飞将BMN时序动作定位框架 | 数据准备与训练指南 （上）

				
			

			

				

					Andrwin的博客
				

				

					07-05
					
					3385
					
				

			

		

		

			
				
百度飞桨时序动作定位框架 | 数据准备与训练指南

			
		

	



                

            
              



	

		

			

				
					
时序动作定位模型AFSD代码

				
			

			

				

					qq_35914073的博客
				

				

					07-02
					
					610
					
				

			

		

		

			
				
AFSD代码解析
加载lable数据：
    #lable数据
    train_video_infos = get_video_info(config['dataset']['training']['video_info_path'])#获取training所有
    train_video_annos = get_video_anno(train_video_infos,
                                       config['dataset']['train

			
		

	



              


  
              

                


	

		

			

				
					
完全监督时序动作定位Fully Supervised Temporal Action Localization 论文阅读

				
			

			

				

					NEUXia的博客
				

				

					08-13
					
					2821
					
				

			

		

		

			
				
Learning to Refactor Actionand Co-occurrence Features for Temporal Action Localization
Bottom-Up Temporal Action Localization with Mutual Regularization
Class Semantics-based Attention for Action Detection




			
		

	





	

		

			

				
					
时序动作检测/定位(Temporal Action Detection)(Temporal Action Localization)-约40篇论文阅读笔记

				
			

			

				

					Louis210的博客
				

				

					08-24
					
					6092
					
				

			

		

		

			
				
时序动作检测(Temporal Action Detection)(Temporal Action Localization)-综述 

			
		

	



		

			
		



	

		

			

				
					
时序动作定位基本知识

				
			

			

				

					m0_60273616的博客
				

				

					11-09
					
					2982
					
				

			

		

		

			
				
对时序结构信息建模的算法：SSN(Structured Segment Network，结构化视频段网络)算法 (Zhao et al., 2020) 对动作不同的阶段 (开始、过程、结束) 进行建模，SSN 不仅会预测候选时序区间内的动作类别，还会预测候选时序区间的完整性，这样做的好处是可以更好地定位动作开始和结束的时刻。基于滑动窗的算法：这类算法的基本思路是预先定义一系列不同时长的滑动窗，之后滑动窗在视频上沿着时间维度进行滑动，并逐一判断每个滑动窗对应的时序区间内具体是什么动作类别。

			
		

	





	

		

			

				
					
[AAAI 2021 时序动作提名生成] BSN++长文详细解读

				
			

			

				

					shenlanshenyanai的博客
				

				

					02-09
					
					1235
					
				

			

		

		

			
				
论文链接：https://arxiv.org/abs/2009.07641

论文代码：https://github.com/xxcheng0708/BSNPlusPlus-boundary-sensitive-network（非官方！）

原作者Haisheng Su解析：https://zhuanlan.zhihu.com/p/344065976

注意：论文没有官方的源码开源，下文中的代码都是摘录至非官方实现版本，精度与原文还是有不少差距。代码可能存在出入，仅供参考！！！

前情回顾和引入

问题..

			
		

	





	

		

			

				
					
赛事解析｜乒乓球时序动作定位大赛亚军方案分享

				
			

			

				

					百度大脑
				

				

					04-29
					
					305
					
				

			

		

		

			
				
比赛介绍



时序动作定位(提案生成)是计算机视觉和视频分析领域一个具有挑战性的任务。本次比赛不同于以往的ActivityNet-TAL，FineAction等视频时序检测动作定位比赛，采用了更精细的动作数据集–乒乓球转播画面，该数据集具有动作时间跨度短、分布密集等特点，给传统模型精确定位细粒度动作带来了很大挑战。





数据集介绍及处理







数据集介绍

本次比赛的数据集包含了19-21赛季兵乓球国际比赛（世界杯、世锦赛、亚锦赛，奥运会）和国内比赛（全运会，乒超联赛）中标准单机位高...

			
		

	





	

		

			

				
					
ACM-Net: Action Context Modeling Network for Weakly-Supervised Temporal Action Localization论文总结

				
			

			

				

					m0_60273616的博客
				

				

					04-01
					
					683
					
				

			

		

		

			
				
传统方法主要关注仅有单一注意力分支和类别激活序列的前景和背景帧分离。然而，除了独特的前景和背景框架外，还有大量语义模糊的动作上下文。将这些上下文帧分组到同一个背景类是没有意义的，因为它们在语义上与特定的动作类别相关。因此，仅使用单一类别激活序列来抑制动作上下文帧是具有挑战性的。

			
		

	





	

		

			

				
					
基于人体骨架序列的单步动作时序定位策略（原创）

				
			

			

				

					技术+管理+经验+沟通+人品=>合格的项目管理者
				

				

					10-28
					
					1426
					
				

			

		

		

			
				
13个月，终于见刊，经历了大修后再大修，然后编后重投。好在重投后主编效率高，估计是看我也不容易……



这张图是算法思路，关键在于通过SPP改造了经典的卷积神经网络，使之能够接受任意时长的动作序列。在训练过程中，将数据集中的样本归一化到多个不同的时间尺寸，是神经网络能够学习到多尺度特征。然后，在预测过程中，直接输入不经“缩放和裁剪”的信息，提高动作的识别准确率。再结合之前发的文章当中的数据增强策略，效果奇好。实验图为证：



上图是没有加数据增强策略前的效果，加上数据增强后，在改进的ZF-NET上，效果

			
		

	





	

		

			

				
					
BMN模型

				
			

			

				

					u010243662的博客
				

				

					03-03
					
					851
					
				

			

		

		

			
				
参考文章：

《BMN 视频动作定位模型》 https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/model_zoo/localization/bmn.md

《论文解析丨基于BSN算法改进的动作时序检测BMN算法论文解析》 https://god.yanxishe.com/columnDetail/28315

《ActivityNet Challenge 2019 冠军模型BMN算法全解析》https://blog.c..

			
		

	





	

		

			

				
					
BMN

				
			

			

				

					qq_39045613的博客
				

				

					11-16
					
					606
					
				

			

		

		

			
				
科研平台运行BMN
源码:https://github.com/JJBOY/BMN-Boundary-Matching-Network
1.尝试运行main.py–mode train
python /workspace/BMN/main.py --mode train

问题1-导入module失败
No module named 'eval_proposal'

eval.py 相对路径改绝对路径
import sys
sys.path.append('./Evaluation')

为
import 

			
		

	





	

		

			

				
					
video analysis -- 时序动作提名-BMN

				
			

			

				

					X_m_w的博客
				

				

					04-11
					
					1220
					
				

			

		

		

			
				
本文的主要贡献是通过引入一种全新的时序提名评估机制以及高效的特征采样方式，来提升了BSN方法的性能和效率

这篇论文中提出了一种新的时序提名置信度评估机制-边界匹配机制（Boundary-Matching mechanism, BM mechanism），以及基于边界匹配机制的边界匹配网络（Boundary-Matching Network, BMN）。BMN网络能够同时生成与BSN中类似的一维边...

			
		

	





	

		

			

				
					
视频时序动作定位的一些总结

				
			

			

				

					qq_35985044的博客
				

				

					04-04
					
					2398
					
				

			

		

		

			
				
1. Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs（SCNN）

SCNN主要分为三个部分：

Proposal network：一个二分类网络，判断

classification network：多分类网络，对视频片段进行K+1分类(K个动作类别+1个背景)，并用于初始化localization网络，只有训练时用到

localization network：个人认为就是classification网络的终极形

			
		

	





	

		

			

				
					
【代码复现】BMN: Boundary-Matching Network for Temporal Action Proposal Generation

				
			

			

				

					 CSPhD-winston的博客
				

				

					01-06
					
					1514
					
				

			

		

		

			
				
一，开始前的准备
1.1，前言
现在有那么多视频检测框架，为什么选BMN进行复现？
1，2019 年 ActivityNet 夺冠方案
2，这是中国人做出来的，而且作者在知乎也写了详细的讲解（这一点才是最重要的）
3，BMN距离现在时间很近，能算是最前沿的技术，通过对BMN的改进，可以用作我的毕业论文的写作。
1.2，参考资料
ActivityNet Challenge 2019 冠军模型BMN算法全解析
[ICCV 2019][时序动作提名] 边界匹配网络详解
github代码
1.3,系统、深度学习框架

			
		

	





	

		

			

				
					
百度飞桨PaddlePaddle---调参思路

				
			

			

				

					qq_43840665的博客
				

				

					05-14
					
					1653
					
				

			

		

		

			
				
前言
这是老师给的一位学长的一次调参经历，实现的是图像识别中的物品分类。采用的是VGG模型。一开始的我毫无头绪，看完这个调参思路，把每个参数弄清楚，至少可以进行调参的测试了，寻找最优参数，需要更多的努力，共勉！！！！
调参思路

•   第一次执行，迭代次数为300，同时将图像大小剪裁为50x50。这样训练出来的误差很小，达到了90%多，但测试误差极大，准确率仅为50%。我考虑这是由于图像区域过小，导致模型过分关注图像细节而过拟合造成的。
•	第二次执行，将图像放大，剪裁大小修改为150，在300次迭代过程

			
		

	





	

		

			

				
					
时序动作定位 | BaSNet：弱监督时序动作定位的背景抑制网络（AAAI 2020）

				
			

			

				

					LiRongLu_的博客
				

				

					06-02
					
					630
					
				

			

		

		

			
				
关于Background Suppression Network for Weakly-Supervised Temporal Action Localization论文学习
作者引入了一个表示背景的辅助类，这是一个缺失的元素来建模弱监督时间动作定位问题。
作者提出了一种不对称的双分支权重共享架构，通过过滤模块和对比目标来抑制来自背景帧的激活。
作者的BaSNet在最流行的基准测试，THUMOS的14和ActivityNet的实验中优于目前最先进的WTAL方法。............

			
		

	





	

		

			

				
					
ActivityNet Challenge 2019 冠军模型BMN算法全解析

				
			

			

				

					百度大脑
				

				

					05-27
					
					3349
					
				

			

		

		

			
				
【飞桨开发者说】储泽栋，北京交通大学软件学院大四在读，曾获ICPC国际大学生程序设计竞赛亚洲区域赛铜牌，全国大学生服务外包大赛二等奖随着互联网世界视频数量的急剧增长，视频内容分析技术得...

			
		

	





	

		

			

				
					
手把手教学训练MTCNN模型.

				
			

			

				

					疯狂的鸡窝
				

				

					09-14
					
					7518
					
				

			

		

		

			
				
手把手教学训练MTCNN模型0 背景介绍1.关于训练集,测试集,校验集1.1 获取数据集1.2 数据集预处理mtcnn网络结构介绍预处理过程1.3 开始训练
0 背景介绍
我在学习人脸识别时,发现虽然网络上关于人脸识别理论的文章非常的多,但涉及到如何获取训练样本,如何进行预处理,以及如何去训练,并研究训练中的主要耗时情况等问题的文章非常的零散.因此在这里我结合我自己训练的步骤重头进行汇众整理并加入...

			
		

	





	

		

			

				
					
BMN: Boundary-Matching Network for Temporal Action Proposal Generation【文章分析与理解】

					
最新发布

				
			

			

				

					我亦无他，唯手熟尔
				

				

					05-26
					
					798
					
				

			

		

		

			
				
BMN: Boundary-Matching Network for Temporal Action Proposal Generation【文章分析与理解】

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值