[PRL2015]The MAHNOB Mimicry Database: A database of naturalistic human interactions

标题：The MAHNOB Mimicry Database: A database of naturalistic human interactions
链接：https://www.sciencedirect.com/science/article/pii/S0167865515000768?casa_token=vuPyZdFYRGgAAAAA:s7pWjucTi4i97mcX5-0N20WtZ9JKGNyU74-BL22VgsiV-DF_t6lz6vuilob-CMjm83u0xPv5

目标

为了学习人的社会行为而创建了一个一对一交流数据库(MAHNOB Mimicry Database)

数据库信息

模态：视频+声音+身体追踪标签
互动组数：54组(34组是关于政治话题的讨论，20组是关于租赁协议的讨论)
总共时长：11小时
参与人数：12个同盟者+48个对手
标签：54组中的15组有完全的面部和身体追踪标签
分类：模仿者和非模仿者

重点

1. 模仿行为的存在与否可以作为自闭症的指标
2. 心理学表明人类至少要40毫秒才能识别并且开始模仿一个面部动作

实验

数据

首先遇到的问题是如何划分训练-验证-测试集。最简单的方法就是直接按照视频划分。但由于视频数量有限，会导致某些集里只有单一的类型(即全是模仿者或者全是非模仿者)。因此本文会人为的划分非模仿者(因为非模仿者比较少)，然后按照gamma分布划分模仿者，之后再分数据集。

过程

实验1：使用面部信息通过LSTM来判断当前交流是否融洽
实验2：使用头部+面部信息通过LSTM来判断当前交流是否融洽

结果

实验证明头部运动有助于判断交流种类(比起仅仅使用面部运动线索来说)