行为识别论文阅读（2）——3D Human Sensing, Action and Emotion Recognition in Robot Assisted Therapy of Children

行为识别论文阅读（2）——3D Human Sensing, Action and Emotion Recognition in Robot Assisted Therapy of Children

版权声明：本文为博主原创文章，未经博主允许不得转载https://blog.csdn.net/heruili/article/details/88371727
CVPR2018

在本文中，我们介绍了在自闭症儿童的机器人辅助治疗过程中，在非分段视频中定义的精细动作分类和情绪预测任务。这些数据旨在支持健壮的、上下文敏感的、多模态的和自然主义的HRI解决方案，以增强这些儿童的社会想象力技能。我们的贡献可以总结如下
1、我们分析了一个包含儿童治疗师互动和微妙行为注释的大型视频数据集。数据集的挑战在于它的长视频，大量的行动和情感(价值唤起)注释，困难的观点，部分观点，以及儿童和治疗师之间的遮挡。
2、我们将最先进的3d人体姿态估计模型应用到这个场景中，使得从RGB数据可靠地跟踪和重建儿童和治疗师成为可能，其性能水平与工业级Kinect系统相当。这是可取的，因为我们提出的模型不仅提供三维人体姿势重建，而且还提供详细的人体部位分割信息，从长远来看，可以有效地捕捉复杂的互动或微妙的行为。
3、我们建立了一些动作和情感识别基线，包括基于儿童表征的系统，以及联合捕获儿童和治疗师的模型。数据、注释和识别模型可以在http://vision.imar.ro/de-enigma上在线获取。

Rehg等人[30]还提出了一个儿童与父母和治疗师互动的数据集，但重点是了解婴儿的行为，以潜在地帮助早期诊断。他们的不同方法是通过检测微笑、凝视和一组固定的物体来分析互动水平，依靠找到治疗师提到的特定短语来帮助将视频分割成预定的阶段。我们的方法是互补的:我们处理的是已经被诊断出的大一点的孩子，并且在一个不那么受约束的环境中进行机器人辅助治疗，并且专注于理解身体姿势，针对孩子的需求进行个性化的技术开发。

DE-ENIGMA[32]数据集1包含自闭症儿童治疗会话的多模态记录。这些课程要么是治疗师专用的，要么是机器人辅助的;前者是为了控制目的而捕获的，而后者是本文感兴趣的。在机器人辅助治疗中，孩子和治疗师坐在放置机器人的桌子前。治疗师远程控制机器人，用它让孩子参与到情感学习的过程中。这些课程包括一个自由玩耍的部分(孩子们玩他选择的玩具)和一个实际的治疗部分。这种疗法是基于这样一种情景:治疗师展示的卡片描绘了各种情绪(开心、悲伤、愤怒等)，这些情绪也会被机器人复制出来，而孩子必须将这些情绪与所表演的相匹配。卡片不是在治疗师的手里，就是躺在机器人的同一张桌子上，然后孩子必须捡起他选择的那张。

在本文中,我们只考虑RGB +深度模态,以及记录使用Kinect v2相机(30 FPS)放置机器人头顶,向孩子(见图1)。孩子面对相机正面,但由于约束的机器人定位和记录相机,大多数时间只有上半身是可见的。治疗师也被放在桌子前面，但她通常面对着孩子，相机观察她的侧视图。大多数情况下࿰