A Survey on Temporal Action Localization论文总结
2020年的时序动作定位综述
文章是中国人写的,对我们来说很好读,逻辑也清晰,对于想了解时序动作定位这个领域的入门者来说很友好~
我把论文的要点进行了罗列,类似论文大纲~
论文地址:A Survey on Temporal Action Localization | IEEE Journals & Magazine | IEEE Xplore
摘要:
本文主要介绍了时序动作定位任务中的SOTA技术和模型,基准数据集、评价指标等;总结了强监督学习和弱监督学习的TAL;列举了有代表性的工作,对比它们的性能;最后做了深度分析及研究展望。
引言:
-
从视频理解五个子研究方向引出时序动作定位TAL,并说明子任务内容:
-
给出动作发生开始和结束的时间
-
给出动作类别
-
-
介绍了TAL任务相比图像检测来说存在的挑战和困难:
-
结合了时间序列信息
-
边界模糊,没法给出动作准确的边界
-
动作片段时间跨度不同
-
其他问题:多尺度、多目标、相机运动
-
-
说明该任务的研究热度和论文组织结构
相关技术:
-
传统方法-具有强解释性
-
提取视频特征:包括提取静态图像特征和时间视觉特征
-
静态图像特征:SIFT、HOG
-
时间视觉特征:静态图像特征和时序信息的结合
-
-
特征提取分成两类:局部和全局
-
局部特征提取:
-
包括统计学、字典学习、bag - of-words (BoW)和feature学习等。与全局特征相比,局部特征对视频照明、视角、相机抖动和复杂背景的适应性更强。
-
-
全局特征提取:
-
包括全局密度和轨迹方法
-
基于特征点跟踪:Dense Trajectories(DT),iDt,深度学习和iDT的结合
-
-
-
-
深度学习方法
-
两阶段(待修改)
-
S-CNN、TAG、TURN、BSN、BMN
-
-
单阶段
-
基于one-shot检测器:SSAD、SS-TAD
-
基于高斯核:GTAN
-
基于顺序决策过程
-
-
基准数据集
评价指标:
-
基本概念:accuracy、recall、precision、IoU
-
常用指标:AR、mAP、t-IoU
近期发展:
-
F-TAL
-
完全监督学习:是一个训练智能算法将输入数据映射到标签的过程。其中每个训练数据都有对应的标签表示ground truth。分类和回归是监督学习的代表。在时间动作定位任务中,全监督使用训练集的标签,既包含视频级别的类别标签,又包含动作段的时间注释信息(包括动作的开始和结束时间)。
-
当前代表方法
当时的最高mAP是46.9% TSA-Net
-
基于滑动窗口:S-CNN、PSDF
-
逐帧预测:CDC
-
基于边界匹配机制:BSN、BMN
-
基于时间结构信息建模:SSN
-
基于区域:R-C3D、TAL-Net
-
精确动作定位:TSA-Net、高斯时序模型
-
-
-
W-TAL
-
弱监督学习:
-
不完全监督,少量训练数据有标记,其余无标记
-
不精确监督,训练数据只有粗粒度标签
-
不准确监督,标记会有错误
-
-
当前代表方法(依赖于视频级标签来训练)
-
-
对W-TAL问题的见解
-
多实例学习(MIL)被用于W-TAL。MIL模型不是使用一组单独标记的实例学习,而是接收一组标记的包,每个包包含许多实例。如果我们把视频中的动作实例看作一个袋子,视频级注释作为标签,那么W-TAL可以表述为一个多实例学习的过程。
-
另一些方法:T-CAM、CAS。
-
总之:弱监督减小了人工劳动和时间成本,增大检测难度,改进空间很大。
-
-
未来趋势:
-
精度和速度的提升
-
二维的探索
-
在线视频动作检测,实时检测
-
弱监督学习,(标记将数据的成本太大了
-
利用多模态数据