Charades数据集

摘要

计算机视觉在帮助人们的日常生活方面有很大的潜力，比如寻找丢失的钥匙、浇花和提醒我们吃药。为了实现这样的功能，模型需要在日常生活的场景下被训练。但是这些场景都并不“有趣”，因此很少出现在YouTube或者电视上。所以怎样收集足够多且多样化的日常生活场景呢？作者提出了一种Hollywood in Home的方式。与在实验室拍摄视频不同，作者通过众包的方式下发视频剧本，让志愿者按照剧本进行拍摄。通过这种方式，作者构建了Charades数据集。这个数据集包括了9848个标注过的视频，每个视频都大概持续30秒，展示了三个大洲的267个不同的人的行为，超过15%的视频里出现的人数都大于1。每个视频都被不限形式的文本描述，并且还有动作标签，动作间隔，动作种类以及交互的物体。总体上来说，Charades提供了27847个描述，66500个时序定位到的动作，这些动作共有157个类别，41104个标签，总共出现的物体种类是46个。使用这样丰富的数据，作者评估并提供了了baseline结果，适用于动作识别和自动文本生成。