非原创,仅作知识整理,参考链接:
Action Segmentation 和Action Detection 区别 - 知乎 (zhihu.com)
https://blog.csdn.net/michaelshare/article/details/127132113
Action Segmentation动作分割概念区别
1.任务内容:动作检测VS动作定位VS动作分割
-
在视频中定位动作并分类就是动作检测(Action Detection),也被称为动作定位(Action Localization)。其任务为找到动作的开始帧和结束帧并进行分类。时空动作检测 (spatio-temporal action detection) : 相比于时序动作检测略有不同,时空动作检测不仅需要识别动作出现的区间和对应的类别,还要在空间范围内用一个包围框 (bounding box)标记出人物的空间位置。
-
动作分割(Action Segmentation)则更进一步,为对一段未剪辑视频进行分段,并对每一段视频分配预先定义的动作标签。输出是视频中每一帧的动作类别,该任务可以理解为对每帧视频进行打标签。
-
动作解析(Action Parsing),在一段动作视频中,定义一连串子动作(sub-action),动作解析即定位这些子动作的开始帧。该任务可更好的进行动作间和动作内部的视频理解。
2.常用公共数据集: Breakfast,Hollywood Extended和50 Salads
-
Breakfast包含了大量的1712个食物准备实例,所有视频是在18个不同的厨房录制的,视频内容是做早餐的一些动作。在视频中包含48个不同的动作类别,每段视频平均包含6个动作类别。平均持续时间为2分钟。
-
Hollywood扩展数据集取自电影中的人类互动,有937个视频,16个动作类和较短的视频,平均30秒。
-
50 Salads数据集只有50个食品准备实例,视频录制是俯视视角,有17个动作,视频由25个被拍摄者,每人做两个salad录制下来的,平均5分钟。
-
GTEA (Georgia Tech Egocentric Activity):包含七种类型的日常活动,如做三明治、茶或咖啡。每个活动由4个不同的人完成,总共28个视频。对于每个视频,大约有20个精细的动作实例,如拿面包,倒番茄酱,大约一分钟
3.动作分割VS动作检测
-
最大的区别是 Action Segmentation 的视频是密集标注的,即视频中的每一帧都有类别,一个视频中是多个动作,而Action Detection(或者叫Activity Localization) 是稀疏标注的,一个视频中动作较少,常为一个或者几个。
-
前者的动作粒度较小,时长较短,如为打开瓶子的盖子,倒出瓶子中的东西,盖住瓶子的盖子。后者粒度较粗,时长较长,如跳高等。
-
前者的数据集比较小,最大的breakfast 数据集也只有1700+个video, 后者常用的activitynet 训练集就10000+。
-
前者的视频视角较为独特,如俯视视角和第三人拍摄。后者则为常规的网络视频。