本文提出了一种弱监督、无监督的分割方法，用于从以自我为中心的家庭活动视频中学习对象模型。针对每个视频序列，仅知道对象名称，而不了解其形状或位置。该方法旨在自动学习丰富的活动和行为模型，尤其是在处理有限训练数据的场景下。通过以自我为中心的视角收集视频，解决了第三人称视频中常见的遮挡问题，同时利用中心和稳定视野的优势。作者创建了一个新的数据集，包含多个主题执行日常活动的视频，用于验证所提方法的有效性。
Abstract
本文解决了从家庭活动的以自我为中心的视频中学习对象模型的问题，并使用了弱监督的方法。
对每一个序列，我们只知道对象的名称，不知道外形或者位置。
因此，我们的方法是一种具有鲁棒性的、无监督的、自下而上的分割方法。
Introduction
本文的动机是希望从弱标记的视频序列中自动学习丰富的人类活动和行为 模型。
许多家庭性活动都涉及对象的操作，并且可以从对象使用的模式构建一个简单而有效的活动模型。
通过以自我为中心或第一人称视频的形式来解决有限的训练数据问题。
与第三人称视频相比，以自我为中心的形式可以轻松有效地从以有限的稳定的视角收集自然的、尊重人类行为的示例。
以自我为中心的视觉优势在于：
- 无需安装多个固定摄像头来检测环境；
- 操作对象不太可能被用户的身体遮挡；
- 具有判断力的对象特征通常是可用的，因为被操纵的对象往往出现在图像中心，且大小恒定。
Dataset
为了验证方法，提出了一个新的数据集。
以自我为中心的角度收集了4个主体的7个日常活动数据集。
在棒球帽上安装了GoProcamera，其位置覆盖主体眼前的区域。
摄像头固定并与头部刚性移动。
摄像头捕获并存储1280x720，30fps，24位x5帧视频。
数据集中的总帧数为31222 。
数据集包含了：
- Hotdog Sandwich
- Instant Coffee
- Peanut Butter Sandwich
最低0.47元/天 解锁文章
548
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
