Abstract
本文解决了从家庭活动的以自我为中心的视频中学习对象模型的问题,并使用了弱监督的方法。
对每一个序列,我们只知道对象的名称,不知道外形或者位置。
因此,我们的方法是一种具有鲁棒性的、无监督的、自下而上的分割方法。
Introduction
本文的动机是希望从弱标记的视频序列中自动学习丰富的人类活动和行为 模型。
许多家庭性活动都涉及对象的操作,并且可以从对象使用的模式构建一个简单而有效的活动模型。
通过以自我为中心或第一人称视频的形式来解决有限的训练数据问题。
与第三人称视频相比,以自我为中心的形式可以轻松有效地从以有限的稳定的视角收集自然的、尊重人类行为的示例。
以自我为中心的视觉优势在于:
- 无需安装多个固定摄像头来检测环境;
- 操作对象不太可能被用户的身体遮挡;
- 具有判断力的对象特征通常是可用的,因为被操纵的对象往往出现在图像中心,且大小恒定。
Dataset
为了验证方法,提出了一个新的数据集。
以自我为中心的角度收集了4个主体的7个日常活动数据集。
在棒球帽上安装了GoProcamera,其位置覆盖主体眼前的区域。
摄像头固定并与头部刚性移动。
摄像头捕获并存储1280x720,30fps,24位x5帧视频。
数据集中的总帧数为31222 。
数据集包含了:
- Hotdog Sandwich
- Instant Coffee
- Peanut Butter Sandwich